[論文レビュー] Training generative neural networks via Maximum Mean Discrepancy optimization

Gintare Karolina Dziugaite, Daniel M. Roy+1 more|arXiv (Cornell University)|May 14, 2015

Generative Adversarial Networks and Image Synthesis参考文献 8被引用数 222

ひとこと要約

この論文では、非パラメトリックな2標本検定を用いて、生成データ分布と実データ分布の間の最大平均差異（MMD）を最小化することで、深層生成ニューラルネットワークを訓練する手法、MMDネットを提案する。GANとは異なり、敵対的訓練に依存するのではなく、MMDの不偏な経験的推定値を微分可能な目的関数として用いるため、理論的な一般化バウンドを伴う安定した最適化が可能である。

ABSTRACT

We consider training a deep neural network to generate samples from an unknown distribution given i.i.d. data. We frame learning as an optimization minimizing a two-sample test statistic---informally speaking, a good generator network produces samples that cause a two-sample test to fail to reject the null hypothesis. As our two-sample test statistic, we use an unbiased estimate of the maximum mean discrepancy, which is the centerpiece of the nonparametric kernel two-sample test proposed by Gretton et al. (2012). We compare to the adversarial nets framework introduced by Goodfellow et al. (2014), in which learning is a two-player game between a generator network and an adversarial discriminator network, both trained to outwit the other. From this perspective, the MMD statistic plays the role of the discriminator. In addition to empirical comparisons, we prove bounds on the generalization error incurred by optimizing the empirical MMD.

研究の動機と目的

• 敵対的訓練の代替手段として、識別器を非パラメトリックな2標本検定に置き換えることで、深層生成モデルの安定した訓練を実現すること。
• 生成モデル学習を、生成データ分布と実データ分布の間の経験的MMDを最小化する問題として定式化すること。
• 真の母集団MMDではなく経験的MMDを最適化することによって生じる一般化誤差の理論的バウンドを提供すること。
• MMDに基づく最適化が、GANでよく見られる訓練の不安定性を回避しながらも、優れたサンプル品質を維持できることを示すこと。

提案手法

• データ分布と生成器の出力分布の間のMMDを最小化する問題として、生成モデルの訓練問題を定式化する。
• カーネル2標本検定に基づいて導出された、最大平均差異（MMD）の不偏推定値を訓練目的関数として用いる。
• MMDを微分可能な損失関数として扱い、経験的MMDの勾配降下法により生成器パラメータを最適化する。
• McDiarmidの不等式とRademacher複雑度バウンドを用いて、経験的MMD推定値の一般化誤差バウンドを導出する。
• 生成器の族が十分に豊かで、カーネルが特徴的である場合に、MMDがゼロになるのは分布が等しいときのみであることを保証する、普遍的な再生核ヒルベルト空間（RKHS）と特徴的カーネルを用いる。
• さまざまなモーメント条件の下で、経験的MMDと真のMMDの間の推定誤差をバウンドすることで、理論的収束保証を確立する。

実験結果

リサーチクエスチョン

• RQ1 MMDに基づく最適化は、深層生成モデルのための安定的で敵対的でないGAN訓練の代替手段として機能するか？
• RQ2 経験的MMD推定値の一般化誤差は、サンプルサイズとカーネルの性質にどのように依存するか？
• RQ3 分布的乖離の観点から、MMDに基づく訓練の収束に対してどのような理論的保証を提供できるか？
• RQ4 合成データおよび実データにおいて、MMDネットの性能は敵対的ネットと比べてサンプル品質と訓練安定性の面でどう異なるか？
• RQ5 MMDに基づく目的関数が、生成器が真のデータ分布を学習することを保証する条件は何か？

主な発見

• MMDネットフレームワークは、敵対的識別器の代わりに閉形式のMMD統計量を用いることで、GANで一般的に見られるモード崩壊や訓練の不安定性を回避し、安定した訓練を実現する。
• 理論的バウンドにより、経験的MMD推定値の一般化誤差が、$ p < 2 $ の場合 $ O(M^{-1/2}) $、$ p = 2 $ の場合 $ O(M^{-1/2} ext{log}^{3/2}(M)) $、$ p > 2 $ の場合 $ O(M^{-1/p}) $ に減少することが示された。ここで $ M $ はサンプルサイズである。
• 生成器の族が十分に豊かで、カーネルが特徴的である非パラメトリック極限では、近似誤差がゼロとなり、MMD = 0 ならば分布が等しいことが保証される。
• 合成データおよび実データに対する実験結果から、MMDネットは訓練の反復回数を増すにつれてMMD値が減少し、生成器の出力分布が真のデータ分布と一致していることが示された。
• GANと同等のサンプル品質を達成しており、識別器と生成器の交互更新の必要がなく、訓練ダイナミクスが簡素化されている。
• 理論的分析により、経験的MMD推定値が真のMMDの周囲に高確率で集中することが確認され、尾部バウンドがサンプルサイズに指数的に減少することが分かった。