[論文レビュー] The Inductive Bias of Restricted f-GANs

Shuang Liu, Kamalika Chaudhuri|arXiv (Cornell University)|Sep 12, 2018

Generative Adversarial Networks and Image Synthesis参考文献 19被引用数 13

ひとこと要約

本稿は、生成器が分布クラスに制限され、識別器が関数クラスに制限される制限付きf-GANの理論的特徴付けを提供する。線形KL-GANのケースにおいて、最適な生成器分布は、最大尤度推定とモーメント法の解の新しい組み合わせであり、単独でのいずれでもないことが示され、モデル不一致下でのGAN学習における明確な帰納的バイアスを明らかにする。

ABSTRACT

Generative adversarial networks are a novel method for statistical inference that have achieved much empirical success; however, the factors contributing to this success remain ill-understood. In this work, we attempt to analyze generative adversarial learning -- that is, statistical inference as the result of a game between a generator and a discriminator -- with the view of understanding how it differs from classical statistical inference solutions such as maximum likelihood inference and the method of moments. Specifically, we provide a theoretical characterization of the distribution inferred by a simple form of generative adversarial learning called restricted f-GANs -- where the discriminator is a function in a given function class, the distribution induced by the generator is restricted to lie in a pre-specified distribution class and the objective is similar to a variational form of the f-divergence. A consequence of our result is that for linear KL-GANs -- that is, when the discriminator is a linear function over some feature space and f corresponds to the KL-divergence -- the distribution induced by the optimal generator is neither the maximum likelihood nor the method of moments solution, but an interesting combination of both.

研究の動機と目的

• モデル不一致下、生成器と識別器の両方が制限されている状況における生成的対抗ネットワークの帰納的バイアスを理解すること。
• 変分f-発散最小化を用いて、制限付きf-GANが誘導する解を理論的に特徴付けること。
• GANの解が最大尤度推定やモーメント法といった古典的手法とどのように異なるかを明確にすること。
• 線形KL-GANにおいて最適な解が、純粋なMLEまたはGMMの解ではなく、両者のハイブリッドであることを確立すること。

提案手法

• 分析にはFenchel-Moreau定理とKy Fanのミニマックス定理を用い、制限付きf-GAN目的関数の双対形式を導出する。
• 凸共役双対性を適用して、生成器-識別器ゲームを確率測度上のミニマックス問題に変換する。
• 最適な生成器分布を、f-発散と識別器クラスを含むペナルティ項の組み合わせを最小化するものとして特徴付けることで解を導出する。
• 弱*位相における確率測度の上でのコンパクト性と連続性の条件を確立し、ミニマックス定理を適用可能にする。
• f-発散の変分表現を活用し、識別器クラスHが平行移動およびシフト不変であると仮定する。
• 主な導出では、最適なQが識別器ペナルティの凸共役とf-発散を含むミニマックス問題によって決定されることを示す。

実験結果

リサーチクエスチョン

• RQ1 モデル不一致下、制限付きf-GANが誘導する分布の理論的形態は何か？
• RQ2 制限付きf-GANの解は、最大尤度推定やモーメント法といった古典的手法とどのように異なるか？
• RQ3 線形KL-GANにおける最適な生成器は、最大尤度推定またはモーメント法推定に対応するか？
• RQ4 生成器と識別器が両方制限されている場合、f-GANの帰納的バイアスは何か？
• RQ5 制限付きf-GANの解は、MLEとGMM解の凸結合またはハイブリッドとして特徴付けられるか？

主な発見

• 線形KL-GANでは、最適な生成器分布は最大尤度推定器でも、モーメント法の解でもない。
• 代わりに、変分f-発散目的関数を通じて尤度最大化とモーメントマッチングをバランスさせるハイブリッド解である。
• 最適な解は、識別器ペナルティの凸共役とf-発散を含むミニマックス形式から生じる。
• 解析により、解が弱*位相下で適切に定義されており、必要なコンパクト性と連続性の条件を満たすことが証明された。
• この結果は、制限付きf-GANが古典的手法とは明確に異なる独自の帰納的バイアスを誘導することを示している。
• 最適なQは、識別器クラスの双対とデータ分布へのf-発散を含む関数の最小化器として特徴付けられる。