[論文レビュー] Transflow Learning: Repurposing Flow Models Without Retraining

Andrew Gambardella, Atılım Güneş Baydin+1 more|arXiv (Cornell University)|Nov 29, 2019

Generative Adversarial Networks and Image Synthesis参考文献 24被引用数 6

ひとこと要約

Transflow Learning は、微調整を必要とせずに事前学習済みの可逆的生成モデル（例：正規化フロー）を新しい分布のデータにゼロショットで適応可能にする。少数の観測データポイントを用いて潜在空間でベイズ推論を実行し、事前分布を変形することで、強力な少サンプル分類およびスタイル転送性能を達成。MNIST ではたった 30 個のラベル付き例での k-NN ベースラインを上回る性能を発揮。

ABSTRACT

It is well known that deep generative models have a rich latent space, and that it is possible to smoothly manipulate their outputs by traversing this latent space. Recently, architectures have emerged that allow for more complex manipulations, such as making an image look as though it were from a different class, or painted in a certain style. These methods typically require large amounts of training in order to learn a single class of manipulations. We present Transflow Learning, a method for transforming a pre-trained generative model so that its outputs more closely resemble data that we provide afterwards. In contrast to previous methods, Transflow Learning does not require any training at all, and instead warps the probability distribution from which we sample latent vectors using Bayesian inference. Transflow Learning can be used to solve a wide variety of tasks, such as neural style transfer and few-shot classification.

研究の動機と目的

• 事前学習済みの可逆的生成モデルから新しいデータ分布への転移学習を、微調整なしで可能にする。
• 潜在空間推論を活用することで、少サンプル学習におけるサンプル効率の課題に取り組む。
• 事前学習モデル（例：CelebA で学習済み）の知識が、分類やスタイル転送などの下流タスクに再利用可能であることを示す。
• 勾配更新やバックプロパゲーションを回避することで、微調整の代替手段として低コストな選択肢を提供する。
• 部分的またはマルチモーダルなデータ（例：音声のみ）への条件付けが生成に可能かどうかを検討する。

提案手法

• 元の潜在事前分布 $ q(\mathbf{z}) $ をベイズ的事前分布とみなし、$ m $ 個の観測データポイント $ \mathbf{x}_{1:m} $ を潜在ベクトル $ \bm{\zeta}_i = f^{-1}(\mathbf{x}_i) $ にマッピングする。
• ベイズ後erior推論を用いて、新しい後erior分布 $ q(\mathbf{z}|\bm{\zeta}_{1:m}) $ を計算し、サンプリング分布を新しいデータ多様体にシフトさせる。
• 逆フロー $ f^{-1} $ を用いて観測データを潜在空間にマッピングし、モデルの再学習なしに分布変形を実現する。
• 後erior $ q(\mathbf{z}|\bm{\zeta}_{1:m}) $ からサンプリングし、それを順方向フロー $ f $ を通して新しいサンプルを生成する。
• 後eriorの安定化とモード崩壊の防止のため、正則化項 $ \lambda \| \mathbb{E}[\mathbf{z}] - \bar{\bm{\zeta}} \|_2^2 $ を用いる。
• 分類には後erior予測分布を適用し、最も高い後erior確率に対応するクラスを予測する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みの可逆的生成モデルを、再学習なしに新しい分布からのデータ生成に適応可能か？
• RQ2 わずか数個のラベル付き例でのみ使用する場合、ベイズ的潜在空間変形は少サンプル分類にどの程度有効か？
• RQ3 低データ環境下で、微調整済みモデルや k-NN ベースラインと比較して、Transflow Learning は競争力のある性能を発揮できるか？
• RQ4 この手法は、フローでないモデルやマルチモーダル条件付けに適用する際にどのような制限を受けるか？
• RQ5 部分的または不完全なデータ（例：音声のみ）に条件付けた場合、この手法はどの程度の性能を示すか？

主な発見

• CelebA で学習済みのフローモデルを用いて、MNIST 30ショット分類で 69.52% の精度を達成。ピクセル空間の k-NN（20.55%）と潜在空間の k-NN（47.58%）を上回った。
• 1クラスあたり1例のラベルのみで、30.39% の精度を達成。ピクセル空間の k-NN（14.99%）を大きく上回り、潜在空間の k-NN（27.78%）と同等の性能を発揮。
• サンプルの質は $ m $ の増加に伴い低下したが、これは後erior平均が原点（つまり「自然な」顔分布）に収束するためである。一方で、分類精度は後erior集中の向上により向上した。
• この手法は、逆フロー $ f^{-1} $ の評価をたった $ m $ 回行うだけで済むため、勾配ベースの微調整と比較して計算効率が非常に高い。
• モデルの更新なしにスタイル転送と少サンプル分類を成功させ、事前学習モデルからのゼロショット転移を実証した。
• このアプローチは BiGAN らような他の可逆モデルにも一般化可能であるが、より小さい潜在空間では細かめの制御が可能になり、$ \lambda $ の値も低く抑えられる。