[論文レビュー] Non-saturating GAN training as divergence minimization

Matt Shannon, Ben Poole+6 more|arXiv (Cornell University)|Oct 15, 2020

Adversarial Robustness in Machine Learning参考文献 29被引用数 8

ひとこと要約

この論文は、非飽和GAN学習が近似的に最小化する新しいf-発散度、すなわち緩和された逆KL発散度を確立しており、これは逆KLに類似した性質を示し、実際の応用で一般的に観察される高品質なサンプルと低多様性の原因を説明する。著者らは、尾重みと変分表現を用いたf-発散度の比較に役立つ一般的手法を導入し、非飽和GAN学習における長年の理論的曖昧さを解消した。

ABSTRACT

Non-saturating generative adversarial network (GAN) training is widely used and has continued to obtain groundbreaking results. However so far this approach has lacked strong theoretical justification, in contrast to alternatives such as f-GANs and Wasserstein GANs which are motivated in terms of approximate divergence minimization. In this paper we show that non-saturating GAN training does in fact approximately minimize a particular f-divergence. We develop general theoretical tools to compare and classify f-divergences and use these to show that the new f-divergence is qualitatively similar to reverse KL. These results help to explain the high sample quality but poor diversity often observed empirically when using this scheme.

研究の動機と目的

• 広く使われている非飽和GAN学習スキームの厳密な理論的裏付けを提供すること。これは、かつて形式的な発散最小化の根拠が欠けていた。
• 非飽和GANが最小化する目的関数について、文献に存在する矛盾する主張を解消すること。
• 特に尾重みとモード探索性の性質を含め、f-発散度の定性的な挙動に基づいて、f-発散度を比較するための一般的手法を開発すること。
• 発散最小化の観点から、非飽和GANにおけるサンプル品質と多様性の実証的トレードオフを説明すること。
• 理論的分析に基づいて、ハイブリッド学習や損失モニタリングなどの実用的改善策を提案すること。

提案手法

• 著者らは、生成器勾配更新の分析を通じて、非飽和GAN学習が最小化するf-発散度を導出し、$ D_f(p,q) = 2\operatorname{KL}(\tfrac{1}{2}p + \tfrac{1}{2}q \| p) $ と呼ばれる「緩和された逆KL発散度」と一致することを示した。
• 定義関数 $ f'' $ の2階微分を用いてf-発散度を再定式化し、代数的・視覚的分析により発散度の性質を直接比較可能にした。
• f-発散度の間でモード探索的・モードカバー的挙動を一般化・分類するための新しい概念「尾重み」を導入した。
• f-発散度の変分上限を用いて、最適なクライアントのもとで非飽和生成器目的関数が緩和された逆KL発散度の最小化に対応することを示した。
• 緩和された逆KL発散度を逆KLやIGOG発散度と比較し、類似性は示すが、正確には同等ではないことを示した。
• 理論的ツールを適用して、緩和された逆KL発散度がモード探索的であることを証明し、(2,0)の尾重みを持つことから、GANにおける多様性の低さを説明した。

実験結果

リサーチクエスチョン

• RQ1 非飽和GAN学習は、どのf-発散度を近似的に最小化するか？
• RQ2 緩和された逆KL発散度の定性的な性質は、逆KLや他のf-発散度とどのように比較できるか？
• RQ3 なぜ非飽和GAN学習は高品質なサンプルを生成するが、モード崩壊を起こすのか？
• RQ4 f-発散度比較の統一的枠組みを用いて、非飽和学習に関する理論的混乱を解消できるか？
• RQ5 最小化されている発散度を理解することで、GAN学習におけるどのような実用的改善が導けるか？

主な発見

• 非飽和GAN学習は、$ D_f(p,q) = 2\operatorname{KL}(\tfrac{1}{2}p + \tfrac{1}{2}q \| p) $ と呼ばれる緩和された逆KL発散度を近似的に最小化する。これは、以前に提案されたIGOG発散度とは等価ではない。
• 緩和された逆KL発散度は(2,0)の尾重みを持つため、強いモード探索的挙動を示し、実際の応用で観察される高品質で低多様性のサンプルを説明できる。
• 緩和された逆KL発散度は逆KLに類似した性質を示すため、ハイブリッド学習のより理論的根拠のある代替手段として逆KLが有用である可能性がある。
• 従来の誤解（非飽和目的関数がKLとJS発散度の組み合わせであるとされた）を解消し、非飽和目的関数が特定のf-発散度に対応することを示した。
• 訓練中に緩和された逆KL発散度をモニタリングすることは、従来の非飽和生成器損失を追跡するよりも情報量が多く、目的関数の一部しか反映しない。
• 訓練中に右尾重みを3/2から1に段階的に変更することで、多様性と品質のバランスを取る新しい訓練戦略が得られる可能性がある。