[論文レビュー] A Convex Duality Framework for GANs

Farzan Farnia, David Tse|arXiv (Cornell University)|Oct 1, 2018

Sparse and Compressive Sensing Techniques被引用数 35

ひとこと要約

この論文は、生成器の分布とデータ分布の間の発散を最小化する枠組みを、制約付き判別器クラス F から導かれるモーメント制約でペナルティを課すことで、凸双対性フレームワークとして再解釈する。この解釈は f-GAN や Wasserstein GAN に拡張され、生成器に連続的に変化するハイブリッド発散を提案し、Lipschitz正則化による訓練の改善を示唆する。

ABSTRACT

Generative adversarial network (GAN) is a minimax game between a generator mimicking the true model and a discriminator distinguishing the samples produced by the generator from the real training samples. Given an unconstrained discriminator able to approximate any function, this game reduces to finding the generative model minimizing a divergence measure, e.g. the Jensen-Shannon (JS) divergence, to the data distribution. However, in practice the discriminator is constrained to be in a smaller class F such as neural nets. Then, a natural question is how the divergence minimization interpretation changes as we constrain F. In this work, we address this question by developing a convex duality framework for analyzing GANs. For a convex set F, this duality framework interprets the original GAN formulation as finding the generative model with minimum JS-divergence to the distributions penalized to match the moments of the data distribution, with the moments specified by the discriminators in F. We show that this interpretation more generally holds for f-GAN and Wasserstein GAN. As a byproduct, we apply the duality framework to a hybrid of f-divergence and Wasserstein distance. Unlike the f-divergence, we prove that the proposed hybrid divergence changes continuously with the generative model, which suggests regularizing the discriminator's Lipschitz constant in f-GAN and vanilla GAN. We numerically evaluate the power of the suggested regularization schemes for improving GAN's training performance.

研究の動機と目的

• 制約付き判別器クラス F が GAN の発散最小化解釈に与える影響を理解すること。
• f-GAN および Wasserstein GAN に適用可能な統一された凸双対性フレームワークを構築すること。
• 生成器に連続的に依存するハイブリッド発散を提案し、f-発散と Wasserstein 距離を組み合わせること。
• 判別器の Lipschitz 定数を正則化することで GAN 訓練の安定性が向上することを示すこと。
• 提案された正則化スキームの有効性を数値的に評価すること。

提案手法

• 生成器と判別器のミニマックスゲームを、判別器の凸集合 F 上での双対問題として形式化する。
• 生成器が F から生じるモーメント制約を満たす条件下で JS 発散を最小化する双対表現を導出する。
• f-GAN にこの双対フレームワークを拡張し、F の双対変数を用いて f-発散を表現する。
• Kantorovich-Rubinstein 双対性を活用して、Wasserstein GAN にフレームワークを適応する。
• 生成器分布に連続的に依存するように設計された、f-発散と Wasserstein 距離を融合したハイブリッド発散を提案する。
• ハイブリッド発散が滑らかに変化する理論的条件を導出する。

実験結果

リサーチクエスチョン

• RQ1 制約付き判別器クラス F は、GAN の発散最小化解釈にどのように影響を与えるか？
• RQ2 f-GAN と Wasserstein GAN の両方に適用可能な統一された凸双対性フレームワークを構築できるか？
• RQ3 f-発散と Wasserstein 距離を組み合わせたハイブリッド発散は、生成器に連続的に依存するか？
• RQ4 f-GAN や通常の GAN における判別器の Lipschitz 定数の正則化に理論的根拠はあるか？
• RQ5 提案された正則化スキームは、GAN 訓練のパフォーマンス向上にどの程度有効か？

主な発見

• 双対性フレームワークにより、制約付き GAN が判別器クラス F から生じるモーメント制約の下で JS 発散を最小化することが明らかになった。
• このフレームワークは f-GAN や Wasserstein GAN に一般化され、共通の理論的基盤を提供する。
• 提案されたハイブリッド発散は生成器に連続的に依存するが、標準的な f-発散とは異なり、正則化を支援する。
• 理論的分析により、Lipschitz 正則化が生成器に依存する発散の滑らかさを保証することで、訓練の安定化に寄与することが示された。
• 数値結果により、提案された正則化スキームが実際の訓練パフォーマンス向上に有効であることが確認された。