[論文レビュー] Adaptive Density Estimation for Generative Models

Thomas W. Lucas, Konstantin Shmelkov+3 more|arXiv (Cornell University)|Jan 4, 2019

Generative Adversarial Networks and Image Synthesis被引用数 5

ひとこと要約

本稿では、逆可逆ニューラルネットワークを用いて画像を潜在特徴空間にマッピングするハイブリッド生成モデル、Adaptive Variational Density Estimation (AV-ADE) を提案する。この手法により、敵対的訓練による高精細なサンプル生成と、最尤推定による正確な尤度計算が可能となり、サンプル品質と分布カバレッジのトレードオフを効果的に解消する。FID と IS スコアが完全に敵対的モデルと同等の最先端水準に達する一方で、保留データにおける尤度も高く維持される。

ABSTRACT

Unsupervised learning of generative models has seen tremendous progress over recent years, in particular due to generative adversarial networks (GANs), variational autoencoders, and flow-based models. GANs have dramatically improved sample quality, but suffer from two drawbacks: (i) they mode-drop, i.e., do not cover the full support of the train data, and (ii) they do not allow for likelihood evaluations on held-out data. In contrast, likelihood-based training encourages models to cover the full support of the train data, but yields poorer samples. These mutual shortcomings can in principle be addressed by training generative latent variable models in a hybrid adversarial-likelihood manner. However, we show that commonly made parametric assumptions create a conflict between them, making successful hybrid models non trivial. As a solution, we propose to use deep invertible transformations in the latent variable decoder. This approach allows for likelihood computations in image space, is more efficient than fully invertible models, and can take full advantage of adversarial training. We show that our model significantly improves over existing hybrid models: offering GAN-like samples, IS and FID scores that are competitive with fully adversarial models, and improved likelihood scores.

研究の動機と目的

• 生成モデルにおけるサンプル品質と分布カバレッジの根本的トレードオフを解消すること。
• GAN の限界、たとえばモード崩壊や尤度評価の欠如を克服しつつ、尤度ベースモデルの低品質なサンプルを回避すること。
• 画像データに対して高品質なサンプル生成と正確な尤度計算を両立できるハイブリッドモデルを設計すること。
• VAE スタイルのデコーダにおける共通のパrametric仮定を緩和することで、敵対的および尤度の目的関数の整合性を高めること。
• 潜在空間における逆可逆かつ非線形なマッピングが、効率的なサンプリングと完全なサポートカバレッジを可能にする適応的密度推定を可能にすることを示すこと。

提案手法

• モデルは、画像 $ x $ を潜在特徴空間にマッピングする学習可能な非線形逆可逆変換 $ f_{\psi} $ を用い、画像空間における正確な尤度計算を可能にする。
• デコーダは、$ z = f_{\psi}(x) $ を用いて潜在空間における条件付き密度 $ p_{\theta}(x|z) $ を変分推論により学習し、ガウス分布や独立性の仮定を一切設けずに、完全な共分散構造を実現する。
• モデルは、潜在空間における最尤推定により完全なサポートカバレッジを確保するとともに、画像空間における敵対的訓練によりサンプル品質を向上させるという、両方の目的関数を同時に最適化して学習する。
• 逆可逆マッピング $ f_{\psi} $ は生成モデルと一括してエンドツーエンドに学習され、効率的なフォワードスティーミングによるサンプリングと正確な尤度評価を可能にする。
• アーキテクチャは、広い生成器と $ f_{\psi} $ における残差ブロックを採用し、正規化フローまたは自己回帰的モデリングの必要がなくなる。
• 因子化やガウス分布の仮定といった強い仮定を回避することで、データ分布の複雑さに適応する密度推定が可能となり、モデルの柔軟性が向上する。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッド生成モデルは、分布カバレッジを損なわずに、高精細なサンプルと正確な尤度評価を両立させることができるか？
• RQ2 条件付き密度 $ p(x|z) $ におけるパrametric仮定（独立性やガウス性）を緩和することで、敵対的および尤度の目的関数の整合性が向上するか？
• RQ3 潜在空間における逆可逆変換は、効率的かつ高品質なサンプリングと正確な尤度計算を両立できるか？
• RQ4 提案手法は、標準ベンチマークにおいて、サンプル品質（IS/FID）と尤度（BPD）の両面で、既存のハイブリッドモデルを上回る性能を示すか？
• RQ5 CIFAR-10、STL-10、ImageNet、LSUN といった多様なデータセットにおいて、顕著なハイパーパrameterチューニングなしに汎用性を示せるか？

主な発見

• CIFAR-10 では、AV-ADE がインセプションスコア 8.2、FID 17.2 を達成し、WGAN-GP や SNGAN といった完全に敵対的なモデルと同等またはそれを上回る性能を示した。
• CIFAR-10 における尤度は 3.7 BPD を達成し、Real-NVP（3.5 BPD） や Glow（3.4 BPD） といった最先端の尤度ベースモデルと同等の水準であった。
• STL-10 では、IS 9.4、FID 44.3 を達成し、SNGAN（IS: 9.1、FID: 40.1） を上回り、尤度（BPD: 4.0–4.4） の面でも優れた性能を維持した。
• ImageNet では、IS: 8.5、FID: 45.5 を達成し、MMD-GAN よりも尤度で優れていた一方で、FID は同水準を維持した。MMD-GAN は完全に敵対的であり、尤度評価が不可であった。
• LSUN クラッチーズでは、Glow や Real-NVP よりもより洗練されたサンプルを生成し、FID 13.1、BPD 4.3 を達成した。これは、層数が少ない（7 層 vs. 500+ 層）にもかかわらず顕著な性能であった。
• アブレーションスタディにより、逆可逆マッピング $ f_{\psi} $ が不可欠であることが確認された。これを除去すると、尤度とサンプル品質の両方で顕著な低下が生じた。