[論文レビュー] Variational Inference: A Unified Framework of Generative Models and Some Revelations

Jianlin Su|arXiv (Cornell University)|Jul 16, 2018

Generative Adversarial Networks and Image Synthesis参考文献 7被引用数 10

ひとこと要約

本論文は、VAE、GAN、および関連モデルを単一の推論原理の特殊ケースとして再解釈する統一的変分推論フレームワークを提案する。変分推論を連合KLダイバージェンスを用いて再定式化することで、EM、VAE、GAN、AAE、BiGANを一貫した方法で導出する。これにより、標準GANが重要な正則化項を欠いていることが明らかになり、その追加により収束性と安定性が向上することが示された。

ABSTRACT

We reinterpreting the variational inference in a new perspective. Via this way, we can easily prove that EM algorithm, VAE, GAN, AAE, ALI(BiGAN) are all special cases of variational inference. The proof also reveals the loss of standard GAN is incomplete and it explains why we need to train GAN cautiously. From that, we find out a regularization term to improve stability of GAN training.

研究の動機と目的

• VAE、GAN、AAE、BiGANといった多様な深層生成モデルを、単一の変分推論フレームワークに統一すること。
• 多くのGAN変種が理論的根拠に欠けているのを是正し、原理的確立された確率的フレームワークに統合すること。
• 標準GAN学習において欠落している正則化項を同定・是正し、それが安定性に不可欠であることを示すこと。
• 新規な変分推論定式化を通じて、既存モデル（例：VAE、EM）のより明確で体系的な導出を提供すること。
• 敵対的訓練がミニマックスゲームとして定式化される必要はなく、適切な損失分解を用いた変分推論から導出可能であることを示すこと。

提案手法

• 変分推論を、周辺分布 $KL(\tilde{p}(x)\|q(x))$ の最小化ではなく、連合分布 $KL(p(x,z)\|q(x,z))$ の最小化によって再定式化し、計算が可能になるようにする。
• ガウス事前分布と事後分布を仮定し、再パラメータ化トリックを適用することで、VAEとEMを特殊ケースとして導出する。
• 生成器をデルタ関数 $q(x|z) = \delta(x - G(z))$ としてモデル化することで、GANを変分推論問題として再解釈する。
• 本質的実サンプル／偽サンプルを表す二値潜在変数 $y$ を導入し、GANの識別器を後方確率 $p(y|x,z)$ として導出する。
• 最適識別器 $D(x,z) = \frac{p^o(z|x)\tilde{p}(x)}{p^o(z|x)\tilde{p}(x) + q^o(x|z)q(z)}$ を導出し、暗黙の正則化項を有するGAN損失を導出する。
• 敵対的損失と再構成損失 $\|x - G(E(x))\|^2$ を組み合わせた共同学習目的関数を提案し、敵対的学習に干渉せずに安定性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 VAE、GAN、AAE、BiGANは、単一の変分推論フレームワークに統一可能か？
• RQ2 なぜ標準GANは慎重なハイパーパrameterチューニングを要し、しばしば収束しないのか？
• RQ3 不安定性を引き起こす標準GAN目的関数に欠落している正則化項は何か？
• RQ4 敵対的訓練はミニマックスゲームとして定式化される必要はなく、変分推論から導出可能か？
• RQ5 提案された統一的フレームワークは、GANの学習安定性と一般化性能を向上させられるか？

主な発見

• 標準GAN損失は不完全であり、変分推論フレームワークから導出される重要な正則化項を欠いている。これが不安定性の理由である。
• 欠落していた正則化項は $KL(p(z|x)\|p^o(z|x))$ であり、変分推論の導出過程で自然に現れ、GAN学習の安定化に寄与する。
• 提案された共同損失 $\mathbb{E}_{x\sim\tilde{p}(x)}[-\log D(E(x))] + \lambda\|x - G(E(x))\|^2$ は、敵対的性能を損なわずに学習安定性と一般化性能を向上させる。
• 理論的分析により、標準的なミニマックス定式化が唯一の有効なアプローチではないことが示された。敵対的訓練は適切な損失分解を用いた変分推論から直接導出可能である。
• 統一的フレームワークにより、EM、VAE、GAN、AAE、BiGANが単一の変分推論原理から一貫して導出可能であり、それらの共通する確率的基盤を示した。
• 実験により、提案された正則化項が学習安定性を向上させ、新しい損失定式化が標準GANおよびBiGANの目的関数と同等の性能を達成することが確認された。