[論文レビュー] Learnable Explicit Density for Continuous Latent Space and Variational Inference

Chin-Wei Huang, Abdelaziz Touati+5 more|arXiv (Cornell University)|Oct 6, 2017

Generative Adversarial Networks and Image Synthesis参考文献 11被引用数 19

ひとこと要約

この論文は、逆可逆フロー（特に逆自己回帰的フロー、inverse AF）を用いて事前分布と事後分布の両方を柔軟にすることで、変分オートエンコーダー（VAE）における学習可能な明示的密度を提案する。学習可能な事前分布により、サンプル品質と推論性能が向上し、周辺近似事後分布とよりよく一致する。理論的にも、inverse AFが複雑な事後分布を普遍的に近似可能であることを裏付け、MNISTおよびトロイミックスチャネルのデータセットにおいて、標準的なガウス事前分布を上回る性能を示す。

ABSTRACT

In this paper, we study two aspects of the variational autoencoder (VAE): the prior distribution over the latent variables and its corresponding posterior. First, we decompose the learning of VAEs into layerwise density estimation, and argue that having a flexible prior is beneficial to both sample generation and inference. Second, we analyze the family of inverse autoregressive flows (inverse AF) and show that with further improvement, inverse AF could be used as universal approximation to any complicated posterior. Our analysis results in a unified approach to parameterizing a VAE, without the need to restrict ourselves to use factorial Gaussians in the latent real space.

研究の動機と目的

• 変分オートエンコーダー（VAE）の性能を向上させるために、因子化ガウスに固定されたものではなく、学習可能な事前分布を導入すること。
• エントロピーの過大評価と事前分布・事後分布の不一致が原因で生じるVAEのサンプル品質の低さという問題に取り組むこと。
• 逆自己回帰的フロー（inverse AF）を用いることで、複雑な事後分布を普遍的に近似可能であるという理論的裏付けを与えること。
• 可逆正規化フローを用いて、潜在空間分布に対する制限的な仮定を回避する形で、事前分布と事後分布のモデリングを統一すること。
• 柔軟な事前分布が、学習安定性と尤度性能において、柔軟な事後分布を用いるモデルを上回ることを実験的に示すこと。

提案手法

• VAEの学習を層ごとの密度推定に分解し、周辺近似事後分布を事前分布のターゲットとして扱う。
• 可逆フロー（特にinverse AF）を用いて、事前分布と事後分布の両方をパラメータ化し、明示的密度推定を可能にする。
• NVPスタイルの結合層を用いた正規化フローにより、事前分布を学習し、データ多様体に適応可能にする。
• 事後分布は、MADEやPixelCNNスタイルの自己回帰構造を用いたinverse AFにより、並列化可能で柔軟な密度推定を実現する。
• エンコーダ、デコーダ、フローに基づく事前・事後分布を同時に最適化することで、変分下界を最適化し、近似事後分布と真の事後分布のKLダイバージェンスを最小化する。
• 固定された因子化ガウス分布の代わりに、学習可能で柔軟な密度を潜在空間に導入することで、制限的な仮定を回避する。

実験結果

リサーチクエスチョン

• RQ1 VAEにおける事前分布の学習は、固定された事前分布と比較して、サンプル生成と推論品質の向上に寄与するか？
• RQ2 逆自己回帰的フロー（inverse AF）を用いることで、変分推論における複雑な事後分布を普遍的に近似可能か？
• RQ3 柔軟な事前分布を用いるモデルは、なぜ学習がより安定し、尤度性能が優れているのか？
• RQ4 周辺近似事後分布に一致する学習可能な事前分布は、エントロピーの過大評価を軽減し、データ分布のモデリングを改善できるか？
• RQ5 尤度とサンプル品質の向上に寄与する主な要因は、事前分布の柔軟性か、事後分布の柔軟性か、それとも両者の相乗効果か？

主な発見

• MNISTでは、事前分布に16層のNVP、事後分布に16層のMADEを用いたモデルが、負の対数尤度（NLL）80.81を達成し、柔軟な事後分布を用いるモデルを上回る。
• 事前分布に8層のNVP、事後分布に8層のMADEを用いることで、NLLはベースラインの83.11から80.81に低下し、顕著な尤度の向上が確認された。
• 柔軟な事前分布のみを用いることで、NLLは90.78から88.70に低下し、事後分布の柔軟性がなくても、事前分布の学習が性能向上に寄与することが示された。
• inverse AFを事後分布近似に用いることで、複雑な事後分布の普遍的近似が可能となり、VAEにおけるその使用が正当化された。
• 学習可能な事前分布を用いることで、周辺事後分布との一致が向上し、真の事後分布と変分近似との乖離が軽減された。
• 正規化フローに基づくVAEの中で、MNISTにおける尤度性能は最先端水準に達し、16層のNVPと16層のMADEを用いた場合、最終的なNLLは80.60となった。