[論文レビュー] Constraining Variational Inference with Geometric Jensen-Shannon Divergence

J. Deasy, Nikola Simidjievski+1 more|arXiv (Cornell University)|Jun 18, 2020

Generative Adversarial Networks and Image Synthesis被引用数 10

ひとこと要約

本稿では、歪み幾何的ジェンセン・シャノン発散（JS^G_α）を用いた変分オートエンコーダー（VAEs）のための新規正則化手法を提案する。この手法により、前向きKL発散と逆向きKL発散の間の直感的な補間が可能になる。中間分布の再パrameter化により、閉形式で解釈可能な損失が得られ、1つのハイパーパrameter α のみを用いて、標準ベンチマークデータセット上で再構成性能と生成性能が向上する。

ABSTRACT

We examine the problem of controlling divergences for latent space regularisation in variational autoencoders. Specifically, when aiming to reconstruct example $x\\in\\mathbb{R}^{m}$ via latent space $z\\in\\mathbb{R}^{n}$ ($n\\leq m$), while balancing this against the need for generalisable latent representations. We present a regularisation mechanism based on the skew-geometric Jensen-Shannon divergence $\\left(\ extrm{JS}^{\ extrm{G}_{\\alpha}}\ ight)$. We find a variation in $\ extrm{JS}^{\ extrm{G}_{\\alpha}}$, motivated by limiting cases, which leads to an intuitive interpolation between forward and reverse KL in the space of both distributions and divergences. We motivate its potential benefits for VAEs through low-dimensional examples, before presenting quantitative and qualitative results. Our experiments demonstrate that skewing our variant of $\ extrm{JS}^{\ extrm{G}_{\\alpha}}$, in the context of $\ extrm{JS}^{\ extrm{G}_{\\alpha}}$-VAEs, leads to better reconstruction and generation when compared to several baseline VAEs. Our approach is entirely unsupervised and utilises only one hyperparameter which can be easily interpreted in latent space.

研究の動機と目的

• VAEにおける正則化強度の直感的制御の欠如、特にKL発散項の不透明なスケーリングの問題に対処すること。
• 多次元正規分布設定において、前向きKL発散と逆向きKL発散の間の解析的補間の欠如を克服すること。
• 分布空間および発散空間の両方において解釈可能性を保ちつつ、VAE性能を向上させる正則化メカニズムを開発すること。
• 歪み幾何的JS発散を用いることで、標準VAEベースラインを上回る再構成性能と生成性能が得られることを示すこと。

提案手法

• 中間分布の再パラメータライゼーションにより、前向きKL発散と逆向きKL発散の間の滑らかな補間を可能にする、修正された歪み幾何的ジェンセン・シャノン発散（JS^G_α）を提案する。
• 多次元正規分布の平均および分散パラメータを用いて発散を表現することにより、JS^G_α-VAEの閉形式損失関数を導出する。
• 特に軽尾の事後分布設定において性能をさらに向上させるために、双対形式のJS^G_α_* を導入する。
• ゼロ回避（前向きKL）とゼロ強制（逆向きKL）の挙動のバランスを制御する、1つの解釈可能なハイパーパrameter α を採用する。
• 追加のハイパーパrameterチューニングや後処理分析を必要とせず、非教師ありの方法で手法を適用する。
• 低次元の可視化と標準画像ベンチマークにおける定量的評価を通じて、手法の有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 多次元正規分布VAEにおいて、前向きKL発散と逆向きKL発散の間の解析的補間を達成できるか？
• RQ2 歪み幾何的JS発散は、標準KL発散やJS発散よりも直感的で効果的な正則化メカニズムを提供するか？
• RQ3 JS^G_α-VAEは、多様なデータセットにおいて、ベースラインVAEを上回る再構成性能と生成性能を達成できるか？
• RQ4 歪みパラメータ α の選択が、潜在表現におけるモードカバレッジとシャープネスのトレードオフにどのように影響するか？
• RQ5 双対形式のJS^G_α_* は、標準のJS^G_α よりもVAE学習においてより効果的か？

主な発見

• 双対形式のJS^G_α_* は、複数のベンチマークデータセットにおいて、テストセット再構成損失の観点で、前向きKLおよび逆向きKL発散を常に上回る性能を示した。
• JS^G_α-VAEは、標準VAE、β-VAE、InfoGANベースラインと比較して、定性的および定量的に優れた再構成性能を達成した。
• 単一のハイパーパラメータ α を用いて、前向きKLと逆向きKLの挙動の間を滑らかで解釈可能な補間が可能であり、これはモードカバレッジとシャープネスのバランスを直接制御する。
• 特に軽尾の事後分布を扱う場合に、歪み幾何的JS発散は標準JS発散よりもVAEに対してより効果的である。
• 提案された正則化メカニズムは完全に非教師ありであり、α 以外の追加ハイパーパラメータチューニングを必要とせず、α は潜在空間において明確な幾何的解釈を持つ。
• 実験的結果から、最適な性能は特定の α 値の範囲内で達成され、これはVAEにおける標準化された正則化戦略の可能性を示唆している。