[論文レビュー] Recursive Inference for Variational Autoencoders

Minyoung Kim, Vladimir Pavlović|arXiv (Cornell University)|Nov 17, 2020

Generative Adversarial Networks and Image Synthesis参考文献 32被引用数 6

ひとこと要約

この論文は、多様で発散を最大化する成分を混合推論ネットワークに逐次追加することで、後方分布の近似を反復的に改善する再帰的アモルタイズド推論手法を提案する。半アモルタイズド手法とは異なり、推論時に反復的最適化を必要としないため、テスト時における高速な1回の順伝播推論が可能であり、関数的勾配最適化と有界KL正則化を組み合わせることで、複数のベンチマークで最先端のテストデータ尤度を達成する。

ABSTRACT

Inference networks of traditional Variational Autoencoders (VAEs) are typically amortized, resulting in relatively inaccurate posterior approximation compared to instance-wise variational optimization. Recent semi-amortized approaches were proposed to address this drawback; however, their iterative gradient update procedures can be computationally demanding. To address these issues, in this paper we introduce an accurate amortized inference algorithm. We propose a novel recursive mixture estimation algorithm for VAEs that iteratively augments the current mixture with new components so as to maximally reduce the divergence between the variational and the true posteriors. Using the functional gradient approach, we devise an intuitive learning criteria for selecting a new mixture component: the new component has to improve the data likelihood (lower bound) and, at the same time, be as divergent from the current mixture distribution as possible, thus increasing representational diversity. Compared to recently proposed boosted variational inference (BVI), our method relies on amortized inference in contrast to BVI's non-amortized single optimization instance. A crucial benefit of our approach is that the inference at test time requires a single feed-forward pass through the mixture inference network, making it significantly faster than the semi-amortized approaches. We show that our approach yields higher test data likelihood than the state-of-the-art on several benchmark datasets.

研究の動機と目的

• 標準的なアモルタイズド推論におけるVAEの不正確さ、特に固定されたエンコーダ容量による後方分布の複雑さの低減を是正すること。
• テスト時に反復的勾配更新を必要とする半アモルタイズド手法の計算コストを克服すること。
• 高い表現多様性を維持し、混合モデルにおけるモード崩壊を避けるスケーラブルなアモルタイズド推論フレームワークを開発すること。
• 関数的勾配降下に基づく再帰的成分追加戦略により、高速な推論を保ちながらデータ尤度を向上させること。

提案手法

• 変分後方分布と真の後方分布の間の発散を最小化するように、段階的に新しい成分を推論ネットワークに追加する再帰的混合推定アルゴリズムを提案する。
• 関数的勾配アプローチを用いて学習基準を導出：各新しい成分は、変分下界を改善し、現在の混合分布から発散を最大化する必要がある。
• 成分学習中に有界KL損失正則化を適用し、BVIで用いられるエントロピー正則化と比較して、退化解の発生を防ぎ、数値安定性を向上させる。
• テスト時推論が反復的ファインチューニングを必要とする半アモルタイズドアプローチとは異なり、単一の順伝播パスでのみ実行可能なアモルタイズド推論ネットワークを構築する。
• 後方分布発散を低減し、表現多様性を高める能力に基づいて、新しい成分を選択する再帰的更新ルールを導入する。
• VAEの目的関数の構造を活用し、安定的かつスケーラブルな最適化が可能な混合エンコーダのエンドツーエンド訓練を可能にする。

実験結果

リサーチクエスチョン

• RQ1 推論速度を犠牲にせずに、VAEにおけるより高い後方分布近似精度を達成できるか？
• RQ2 多様性を維持し、モード崩壊を避けるために、どのように再帰的に混合推論ネットワークを改善できるか？
• RQ3 アモルタイズドVAE推論における効果的で安定的な成分追加を可能にする学習基準は何か？
• RQ4 有界KL正則化は、アモルタイズド混合推論の文脈でエントロピー正則化と比較してどのように異なるか？
• RQ5 再帰的かつアモルタイズド推論手法は、標準VAEおよび半アモルタイズドベースラインを上回るデータ尤度を達成できるか？ また、テスト時推論を高速に保てるか？

主な発見

• 提案手法は、MNIST、Omniglot、CIFAR-10の全ベンチマークで最高のテストデータ尤度を達成し、標準VAE、半アモルタイズド手法、フローベースドモデルを上回る。
• 100次元の潜在変数を用いたCelebAでは、テスト尤度が17,875.1 natsに達し、次善の手法（BVI-ER1）を100 nats以上上回った。
• 5成分を用いたRME（再帰的混合推定）モデルは、CelebA（100次元z）でテスト尤度17,875.1 natsを達成し、VAEベースラインの17,395.5 natsを顕著に上回った。
• 本手法は高速な推論を維持している：テスト時推論は混合ネットワークを1回の順伝播のみで実行する。反復的勾配ベースの手法とは対照的である。
• 有界KL正則化戦略は、特に高容量のアモルタイズド設定において、エントロピー正則化よりもより安定的かつ効果的な訓練を実現した。
• 実験的結果から、発散最大化に基づく再帰的成分追加は、常に尤度を向上させ、モード崩壊を示す混合モデルにおける性能劣化を回避することが明らかになった。