[論文レビュー] Symmetric Variational Autoencoder and Connections to Adversarial Learning

Li‐Qun Chen, Shuyang Dai+4 more|arXiv (Cornell University)|Sep 6, 2017

Generative Adversarial Networks and Image Synthesis参考文献 22被引用数 17

ひとこと要約

本稿では、対称的Kullback-Leibler発散を用いて生成モデリングを向上させる対称的変分オートエノード（sVAE）を提案する。VAEと敵対的学習を統合することで、画像生成および再構成において最先端の性能を達成し、訓練の安定性を保ちながらモード崩壊を軽減する。

ABSTRACT

A new form of the variational autoencoder (VAE) is proposed, based on the symmetric Kullback-Leibler divergence. It is demonstrated that learning of the resulting symmetric VAE (sVAE) has close connections to previously developed adversarial-learning methods. This relationship helps unify the previously distinct techniques of VAE and adversarially learning, and provides insights that allow us to ameliorate shortcomings with some previously developed adversarial methods. In addition to an analysis that motivates and explains the sVAE, an extensive set of experiments validate the utility of the approach.

研究の動機と目的

• 非対称KL発散による従来のVAEの限界、特にぼやけた再構成と現実的でないデータ生成の問題を解消する。
• VAEと敵対的学習を、GAN、WGAN、ALIと接続する対称的発散に基づくフレームワークを導入することで統合する。
• ALIで見られる再構成と生成のトレードオフおよび不安定性を、対称的KL発散と改善された訓練ダイナミクスを用いて克服する。
• sVAEが、CelebAやCIFAR-10のような高次元データにおいても、モード崩壊を回避し、高品質な画像生成および再構成を達成できることを示す。
• 理論的および実験的証拠を提示し、標準VAEやALIと比較して、対称的変分下界がより安定的かつ効果的な訓練を可能にすることを示す。

提案手法

• 真の事後分布と近似事後分布の間の対称的Kullback-Leibler（KL）発散を用いた対称的変分下界を提案し、従来のVAEで用いられる非対称KL発散に置き換える。
• GANに類似したミニマックスゲームとしてsVAEの目的関数を定式化し、生成器と識別器が発散測度に対称性を強制するように訓練する。
• AVB（敵対的変分ベイズ）フレームワークを対称的KL発散を組み込むように変更し、エンコーダおよびデコーダネットワークをエンドツーエンドで訓練可能にする。
• 対称的KL発散の重み付き和として正則化項を導入し、訓練の安定性と分離性の向上を図る。
• シグモインドの前段階での識別器出力の非線形変換を用いて生成器を更新し、勾配の流れとモデルの安定性を向上。
• sVAEフレームワークを非条件および条件付き生成タスクに適用し、CelebAやCIFAR-10を含むさまざまなデータセットにおいて堅牢性を示す。

実験結果

リサーチクエスチョン

• RQ1 VAEにおける非対称KL発散を対称的KL発散に置き換えることで、生成モデリング性能がどのように向上するか？
• RQ2 提案されたsVAEとGAN、WGAN、ALIといった既存の敵対的モデルとの理論的および実践的関係は何か？
• RQ3 対称的変分下界は、GANでよく見られるモード崩壊問題を軽減し、サンプルの多様性を向上させることができるか？
• RQ4 sVAEフレームワークは、ALIと同等の生成能力を維持しつつ、再構成品質を向上させることができるか？
• RQ5 対称的発散に基づく正則化項の導入が、高次元データにおける訓練の安定性と性能に与える影響は何か？

主な発見

• CIFAR-10においてsVAEは6.96 ± 0.066のインceptionスコアを達成し、ALI（5.34 ± 0.05）とDCGANを上回り、WGAN-GP（7.86 ± 0.07）に近い性能を示した。
• CelebAデータセットにおいて、sVAE-rは正則化ハイパーパramータλのすべての値で高品質な再構成と生成を維持するが、ALIはλを増加させると生成性能が低下する。
• 特定の条件下で対称的発散を適用した場合、sVAEフレームワークはALIを正確に再現することができ、VAEと敵対的モデルの間の正式な理論的接続を確立した。
• 対称的KL発散は識別器の正則化項への感受性を低減させ、ALIと比較してより安定した訓練と向上した推論性能をもたらした。
• sVAE-rはCelebAで8.81のFréchet Inception Distance（FID）を達成し、DCGANとWGAN-GPを上回り、MSE値の低さから再構成の忠実度が優れていることが示された。
• アブレーションスタディにより、対称的発散が再構成と生成のバランスを保つために不可欠であることが確認され、sVAE-rはλが高くなる場合でも両タスクで高い性能を維持するが、ALICEは同様の条件下で生成に失敗した。