[論文レビュー] Generative Latent Flow

Zhisheng Xiao, Qing Yan+1 more|arXiv (Cornell University)|May 24, 2019

Generative Adversarial Networks and Image Synthesis参考文献 59被引用数 21

ひとこと要約

Generative Latent Flow (GLF) は、高品質なサンプル生成を可能にする、オートエンコーダーに基づく新規な生成モデルである。正規化フローを用いて学習された潜在分布を単純な事前分布に明示的にマッピングする。これは、高品質なサンプル生成を実現する。AEベースのモデルの中で最先端のサンプル品質を達成し、収束が速く、1段階の訓練が可能であり、フロー事前分布を備えたVAEを上回り、標準データセットにおいてGANベンチマークと競合する性能を示す。

ABSTRACT

In this work, we propose the Generative Latent Flow (GLF), an algorithm for generative modeling of the data distribution. GLF uses an Auto-encoder (AE) to learn latent representations of the data, and a normalizing flow to map the distribution of the latent variables to that of simple i.i.d noise. In contrast to some other Auto-encoder based generative models, which use various regularizers that encourage the encoded latent distribution to match the prior distribution, our model explicitly constructs a mapping between these two distributions, leading to better density matching while avoiding over regularizing the latent variables. We compare our model with several related techniques, and show that it has many relative advantages including fast convergence, single stage training and minimal reconstruction trade-off. We also study the relationship between our model and its stochastic counterpart, and show that our model can be viewed as a vanishing noise limit of VAEs with flow prior. Quantitatively, under standardized evaluations, our method achieves state-of-the-art sample quality among AE based models on commonly used datasets, and is competitive with GANs' benchmarks.

研究の動機と目的

• オートエンコーダーに基づく生成モデルにおけるサンプル品質の低さ、特にVAEで一般的なぼんやりとした品質の改善を目的とする。
• 潜在空間における正則化のためのヒューリスティックな手法を排除し、潜在分布と事前分布の間の明示的なマッピングをモデル化することを目的とする。
• 優れたサンプル品質と速い収束を実現する、安定したエンドツーエンドの訓練を可能にする。
• 決定論的モデル（例：GLF）と確率的対応物（例：フロー事前分布付きVAE）との関係を調査することを目的とする。
• 潜在空間における正規化フローが、敵対的訓練を伴わず、GANレベルのサンプル品質を達成できることを実証することを目的とする。

提案手法

• GLF は、データの低次元潜在表現を学習するための決定論的オートエンコーダーを用い、別個のエンコーダーとデコーダーのネットワークを有する。
• 潜在空間に正規化フローを適用し、学習された潜在分布と単純な事前分布（例：標準正規分布）の間の可逆変換をモデル化する。
• 潜在分布にフローを正則化したもとでのデータの対数尤度を最大化することで、エンドツーエンドの訓練を実施し、KLダイバージェンスに基づく正則化を回避する。
• VAEとは異なり、GLF は確率的推論を用いない。代わりに、潜在変数を決定論的コードとして扱い、分布の複雑さはフローが捉える。
• 潜在コード最適化からフローを分離することで、正則化付きAEモデルで見られる劣化問題を回避する。
• この手法は、フロー事前分布付きVAEの無限小ノイズ極限と同等であり、理論的根拠を提供する。

実験結果

リサーチクエスチョン

• RQ1 決定論的オートエンコーダーに加え、潜在空間に正規化フローを適用することで、GANと同等の高品質な画像生成が達成可能か？
• RQ2 潜在分布と事前分布の間の明示的フローマッピングは、VAEにおける暗黙の正則化と比べてどのように異なるか？
• RQ3 正則化付きGLF はなぜ訓練不安定性を示すのか？GLF はこの問題をどのように回避するのか？
• RQ4 GLF とフロー事前分布付きVAEなどの確率的モデルとの関係は何か？
• RQ5 敵対的訓練を伴わず、エンドツーエンドかつ1段階の訓練が可能なAEベースのモデルが、最先端のサンプル品質を達成できるか？

主な発見

• GLF は、MNIST、Fashion-MNIST、CIFAR-10、CelebA において、オートエンコーダーに基づくモデルの中で最先端のサンプル品質を達成し、FIDスコアはGANベンチマークと競合する。
• GLF は Two-stage VAE や GLANN よりも収束が速く、MNIST では100エポック、CIFAR-10 では200エポック、CelebA では40エポックで最適なFIDスコアに到達する。
• 正則化付きGLF は、潜在分散の過剰なペナルティにより訓練不安定性とNLL損失の劣化を示すが、GLF は潜在コード最適化からフローを分離することで、この問題を回避する。
• フロー事前分布付きVAE は、正則化強度（β）を大きくするにつれてGLFの性能に近づくが、高βでもGLFはFIDスコアでわずかに上回る。
• VAE+フローポリューションのエントロピー損失はβの増加に伴い減少し、事後分布の分散が縮小していることを示している。一方、GLF はこのような分散崩壊を示さず、安定した訓練を維持する。
• GLF のFIDスコアは、訓練中に滑らかに改善され、振動がない。一方、VAE+フローポリューションや正則化付きGLF は強い揺らぎを示す。