[論文レビュー] MAE: Mutual Posterior-Divergence Regularization for Variational AutoEncoders

Xuezhe Ma, Chunting Zhou+1 more|arXiv (Cornell University)|Jan 6, 2019

Generative Adversarial Networks and Image Synthesis参考文献 43被引用数 13

ひとこと要約

本稿では、変分オートエンコーダー（VAEs）におけるKL消失問題を緩和するための新しい正則化手法MAE（相互事後分布発散正則化）を提案する。この手法は、事後分布同士の相互発散を最小化することで、意味のある潜在空間幾何構造を促進し、強力なデコーダーを搭載したVAEが、画像ベンチマークにおいて密度推定および表現学習の両面で最先端の性能を達成可能にする。

ABSTRACT

Variational Autoencoder (VAE), a simple and effective deep generative model, has led to a number of impressive empirical successes and spawned many advanced variants and theoretical investigations. However, recent studies demonstrate that, when equipped with expressive generative distributions (aka. decoders), VAE suffers from learning uninformative latent representations with the observation called KL Varnishing, in which case VAE collapses into an unconditional generative model. In this work, we introduce mutual posterior-divergence regularization, a novel regularization that is able to control the geometry of the latent space to accomplish meaningful representation learning, while achieving comparable or superior capability of density estimation. Experiments on three image benchmark datasets demonstrate that, when equipped with powerful decoders, our model performs well both on density estimation and representation learning.

研究の動機と目的

• 強力なデコーダーを用いる場合に潜在表現が情報を持たなくなるというVAEにおけるKL消失問題に対処すること。
• 密度推定性能を損なうことなく、学習された潜在表現の質を向上させること。
• 意味のある分離性と多様性を促進する新しい正則化メカニズムを通じて、潜在空間の幾何構造を制御すること。
• 表現力のある生成モデルを搭載したVAEが、強力な生成能力および分離可能な表現能力を維持できること。
• 従来のVAE正則化手法に対する理論的裏付けと実験的有効性を持つ代替手法を提供すること。

提案手法

• 異なるデータポイントの事後分布間のカルバック・ライブーラー発散を最小化することで、相互事後分布発散正則化を導入する。
• 各データポイントを事後分布にエンコードする二重符号化戦略を用い、これらの事後分布間の発散を最小化する。
• 対称的な正則化項を組み込み、潜在空間における多様性と分散を促進し、事後分布の崩壊を防ぐ。
• 標準的なVAE目的関数を維持しつつ、潜在空間の幾何構造に作用する新たな正則化子を追加する。
• 類似したメカニズムを用いて、異なるデータポイントが識別可能な潜在コードを持つように促進する。
• 本手法はあらゆるVAEアーキテクチャと互換性があり、アーキテクチャの変更や標準VAEを超える追加のハイパーパrameterを必要としない。

実験結果

リサーチクエスチョン

• RQ1 強力なデコーダーを搭載したVAEにおいて、相互事後分布発散正則化は、事後分布の崩壊を効果的に防止できるか？
• RQ2 提案された正則化は、分離可能で意味のある潜在表現の質を向上させるか？
• RQ3 標準VAEや他の最先端手法と比較して、密度推定性能を維持または向上させられるか？
• RQ4 正則化は学習された潜在空間の幾何構造にどのように影響を与えるか？
• RQ5 本手法は、さまざまな画像データセットおよびデコーダー・アーキテクチャに対して頑健か？

主な発見

• 提案されたMAE手法は、3つの画像ベンチマークデータセットにおいて、密度推定および表現学習の両面で最先端の結果を達成した。
• MNIST、EMNIST、CelebAデータセットにおいて、MAEはベースラインVAEおよび他のSOTA手法と比較して、テスト時の対数尤度および下流の表現品質の両面で優れた性能を示した。
• 深く表現力のあるデコーダーを用いても、KL消失を効果的に防止し、情報を持つ潜在コードを維持できた。
• 定性的な分析から、標準VAEと比較して、学習された潜在空間がより優れた分離性と滑らかな補間性を示していることがわかった。
• アーキテクチャの変更なしに、さまざまなアーキテクチャおよびデータセットで一貫した改善が得られた。
• アブレーションスタディの結果、相互事後分布発散正則化が性能向上の主因であることが確認され、単なる重み減衰や他の正則化子によるものではなかった。