[論文レビュー] On distinguishability criteria for estimating generative models

Ian Goodfellow|arXiv (Cornell University)|Dec 19, 2014

Generative Adversarial Networks and Image Synthesis参考文献 2被引用数 87

ひとこと要約

本稿は、ノイズ対比推定（NCE）、生成対抗ネットワーク（GANs）、および最尤推定（MLE）の理論的関係を分析する。動的生成器を備えたNCEの変種がMLEに等価であることが示され、一方でGANsは区別可能性ゲームを放棄しない限りMLE勾配を回復できない。また、既存の理論は非凸設定におけるGANsの収束を保証しない。

ABSTRACT

Two recently introduced criteria for estimation of generative models are both based on a reduction to binary classification. Noise-contrastive estimation (NCE) is an estimation procedure in which a generative model is trained to be able to distinguish data samples from noise samples. Generative adversarial networks (GANs) are pairs of generator and discriminator networks, with the generator network learning to generate samples by attempting to fool the discriminator network into believing its samples are real data. Both estimation procedures use the same function to drive learning, which naturally raises questions about how they are related to each other, as well as whether this function is related to maximum likelihood estimation (MLE). NCE corresponds to training an internal data model belonging to the {\em discriminator} network but using a fixed generator network. We show that a variant of NCE, with a dynamic generator network, is equivalent to maximum likelihood estimation. Since pairing a learned discriminator with an appropriate dynamically selected generator recovers MLE, one might expect the reverse to hold for pairing a learned generator with a certain discriminator. However, we show that recovering MLE for a learned generator requires departing from the distinguishability game. Specifically: (i) The expected gradient of the NCE discriminator can be made to match the expected gradient of MLE, if one is allowed to use a non-stationary noise distribution for NCE, (ii) No choice of discriminator network can make the expected gradient for the GAN generator match that of MLE, and (iii) The existing theory does not guarantee that GANs will converge in the non-convex case. This suggests that the key next step in GAN research is to determine whether GANs converge, and if not, to modify their training algorithm to force convergence.

研究の動機と目的

• 生成モデルの文脈において、NCE、GANs、MLEの理論的関係を明確化すること。
• GANsが最尤推定の勾配更新を回復できるかを調査すること。
• 区別可能性ゲームフレームワーク下でのGANsの収束特性を検討すること。
• 理論的に一貫性があるにもかかわらず実際のGANsがしばしばアンダーフィットする理由を特定すること。
• 区別可能性ゲーム関数が敵対的訓練によってMLEを達成するために使用可能かどうかを評価すること。

提案手法

• NCEおよびGANsで用いられる区別可能性ゲームの価値関数を比較し、$ V(p_c, p_g) = \mathbb{E}_{\mathbf{x} \sim p_d} \log p_c(y=1|\mathbf{x}) + \mathbb{E}_{\mathbf{x} \sim p_g} \log p_c(y=0|\mathbf{x}) $ と定義する。
• 固定ノイズ分布を用いたNCEを分析し、動的生成器を備えたNCEの変種がMLEに等価であることを示す。
• GANsにおける生成器の期待勾配を導出し、MLE勾配と比較することで、根本的な不一致を示す。
• ロジスティックシグモイド関数を用いてディスクラミネータ出力 $ p_c(y=1|\mathbf{x}) = \sigma(a(\mathbf{x})) $ をモデル化し、生成器コスト関数を導出する。
• MLE勾配には $ f(\mathbf{x}) = -\frac{p_d(\mathbf{x})}{p_g(\mathbf{x})} $ が必要であるのに対し、GANコストは $ f(\mathbf{x}) = -\zeta(a(\mathbf{x})) $ を用いることが判明し、ここで $ \zeta $ はソフトプラー関数である。
• MLE勾配推定の高い分散は、ディスクラミネータが自信を持っていない場合に生じ、これにより訓練が不安定になる。追加のメカニズムがなければ安定しない。

実験結果

リサーチクエスチョン

• RQ1 動的生成器を備えたNCEの修正版は、最尤推定を回復できるか？
• RQ2 GANsがMLEの勾配と等価な勾配を生成できる方法はあるか？
• RQ3 理論的に一貫性があるにもかかわらず、GANsがしばしば収束しないのはなぜか？
• RQ4 区別可能性ゲームと最尤推定の関係は何か？
• RQ5 非凸設定において収束を保証するために、区別可能性ゲームを変更できるか？

主な発見

• 動的生成器を備えたNCEの変種は、数学的に最尤推定と等価である。
• いかなるディスクラミネータネットワークの選択に対しても、GAN生成器の期待勾配はMLE勾配と一致しない。
• GANsにおける区別可能性ゲームコスト関数は、MLEとは異なる勾配を生成する。具体的には、MLEが要請する指数関数の代わりに、ソフトプラー関数が使用されている。
• 区別可能性ゲームフレームワーク下でMLE勾配推定の高い分散が生じるのは、ディスクラミネータが非常に自信を持っている場合にのみ顕著な勾配が得られるためであり、未学習の生成器ではこれが稀である。
• 非凸ゲームにおける勾配ベース学習の非収束は、GANsで観察されるアンダーフィットの妥当な説明であるが、現在の理論枠組みでは正の収束保証は存在しない。
• 本稿は、今後の研究においてGAN訓練の収束を保証することに焦点を当てるべきであり、均衡計算を強制するように訓練アルゴリズムを変更する可能性があると提言する。