[論文レビュー] Variational f-divergence Minimization

Ming‐Tian Zhang, Thomas Bird+3 more|arXiv (Cornell University)|Jul 27, 2019

Generative Adversarial Networks and Image Synthesis参考文献 27被引用数 10

ひとこと要約

本稿では、最大尤度を超える潜在変数モデルの学習を可能にする f-発散の変分上界を導入し、逆KLなど多様な f-発散を最適化可能にする拡張された補助変分法を用いる。このアプローチにより、画像生成におけるモード探索的挙動など、質的に異なるモデル行動を実現可能であり、標準VAE学習への修正を最小限に抑えることができる。

ABSTRACT

Probabilistic models are often trained by maximum likelihood, which corresponds to minimizing a specific f-divergence between the model and data distribution. In light of recent successes in training Generative Adversarial Networks, alternative non-likelihood training criteria have been proposed. Whilst not necessarily statistically efficient, these alternatives may better match user requirements such as sharp image generation. A general variational method for training probabilistic latent variable models using maximum likelihood is well established; however, how to train latent variable models using other f-divergences is comparatively unknown. We discuss a variational approach that, when combined with the recently introduced Spread Divergence, can be applied to train a large class of latent variable models using any f-divergence.

研究の動機と目的

• 潜在変数モデルにおける変分推論を最大尤度（前方KL）を超えて、より広い f-発散のクラスへと拡張すること。
• 複雑なモデルにおける非尤度 f-発散の一般化された変分学習手法の欠如に対処すること。
• 忠実度の高いサンプル生成を重視する逆KLなどの発散を用いた学習を可能にすること。
• 結合変分推論を用いて、周辺データ空間における f-発散の実用的で微分可能な上界を提供すること。
• 異なる f-発散が、特に高次元生成タスクにおいて、質的に異なるモデル行動を引き起こすことを示すこと。

提案手法

• 関数 f の Fenchel 共役を用いて、f-発散 D_f(p||q) の変分上界を導出する。これにより、結合空間 (x,z) 上の補助変分分布を導入する。
• f-発散の結合上界を、f の Fenchel 共役を用いて導出し、最適化を実行可能にする。
• Agakov & Barber (2004) が提唱した補助変分法を応用し、結合分布 p(x,z) および q(z|x) に依存する上界を構築する。
• 再パrameter化トリックを用いて、モデルパラメータ θ および推論ネットワークパラメータ φ の勾配ベース最適化を可能にする。
• 最近導入されたスプレッド発散（Spread Divergence）を活用し、変分上界の安定性を向上させ、学習の安定性を改善する。
• 確率的勾配降下法により上界を最適化し、最適な変分近似の極限において、上界が真の f-発散に収束することを示す。

実験結果

リサーチクエスチョン

• RQ1 潜在変数モデルにおける f-発散最小化は、最大尤度を超えて一般化可能か？
• RQ2 非尤度目的関数を用いたエンドツーエンド学習を可能にするために、f-発散の変分上界をどのように構築できるか？
• RQ3 前方KLと逆KL、あるいは他の f-発散で学習した場合、モデル行動にどのような質的差が生じるか？
• RQ4 提案手法により、忠実度を重視する発散を用いた生成モデルの有効な学習が可能になるか？
• RQ5 高次元生成タスク（例：画像合成）におけるモデル性能に、f-発散の選択がどのように影響を与えるか？

主な発見

• 提案された f-発散の変分上界により、前方KLに限らず、任意の f-発散を用いた潜在変数モデルの学習が可能になる。
• 逆KLで学習すると、複数の主要モードにわたるカバレッジではなく、少数の主要モードに集中した高忠実度のサンプル生成が行われる。これは前方KLのモードカバレッジ行動とは質的に異なる。
• 画像生成タスクにおいて、逆KLで学習したモデルは、前方KLで学習した標準VAEよりもシャープで高忠実度のサンプルを生成する。
• 標準VAE学習パイプラインへの修正が最小限であるため、実用的かつアクセスしやすい。
• f-発散の上界は微分可能であり、再パラメータ化トリックを用いた確率的最適化に適している。
• 低次元のトイ問題における実験結果から、異なる f-発散が異なるモデル適合をもたらすことが確認され、理論的な柔軟性が裏付けられる。