[論文レビュー] Approximation and Convergence Properties of Generative Adversarial Learning

Shuang Liu, Olivier Bousquet+1 more|arXiv (Cornell University)|May 24, 2017

Generative Adversarial Networks and Image Synthesis参考文献 12被引用数 60

ひとこと要約

本論文は GAN のための対向分散の広範なフレームワークを提案し、識別子クラスが制限される場合や目的関数が厳密である場合のモーメント整合性と収束の含意を証明し、これらの結果を既存の GAN バリアントと結びつける。

ABSTRACT

Generative adversarial networks (GAN) approximate a target data distribution by jointly optimizing an objective function through a "two-player game" between a generator and a discriminator. Despite their empirical success, however, two very basic questions on how well they can approximate the target distribution remain unanswered. First, it is not known how restricting the discriminator family affects the approximation quality. Second, while a number of different objective functions have been proposed, we do not understand when convergence to the global minima of the objective function leads to convergence to the target distribution under various notions of distributional convergence. In this paper, we address these questions in a broad and unified setting by defining a notion of adversarial divergences that includes a number of recently proposed objective functions. We show that if the objective function is an adversarial divergence with some additional conditions, then using a restricted discriminator family has a moment-matching effect. Additionally, we show that for objective functions that are strict adversarial divergences, convergence in the objective function implies weak convergence, thus generalizing previous results.

研究の動機と目的

• GAN、f-GAN、MMD-GAN、WGAN、WGAN-GP、および正規化 OT を含む GAN の目的を支える対向分散を特徴づける。
• 識別子クラスを制限することが生成分布における一般化モーメント整合性を誘発する方式を分析する。
• 厳密な対向分散の場合、目的関数の収束がターゲット分布への弱収束を意味することを示す。
• ニューロンネットワーク識別子がモーメント整合性を保持する条件を提示する。
• 対向分散の収束を標準的な分布収束の概念（弱収束、ワッサースタイン距離）と関連づける。

提案手法

• 対向分散を tau(mu||nu) = sup_f in F E_{mu x nu}[f(x,y)] と定義する。
• opt_{tau,mu*} を tau(mu*||nu) の最小化解の集合として導入する。
• すべての mu* に対して opt_{tau,mu*} = {mu*} となる厳密な対向分散を定義する。
• 特定の条件の下で theta による制限を受ける識別子が E_mu[v_theta] = E_mu*[v_theta] を満たすことを示す一般化モーメント整合性を証明する（定理 4）。
• theta^mu_nu が int(Theta) の内部にあり適切な微分性を持つ場合、opt_{tau,mu*} = M_{mu*} となることを示す（定理 5）。
• 線形 f-GANs およびニューラルネットワーク型 f-GANs を論じ、制限された/NN 識別子でモーメント整合性が成立することを示す（系 corollary 6）。
• 厳密な対向分散における収束が mu* への弱収束を含意することを確立する（定理 10）。
• 厳密な発散とワッサースタイン距離の関係を示し、ワッサースタインが最も弱い厳密対向分散のひとつであることを示す（系 corollary 12）。

実験結果

リサーチクエスチョン

• RQ1 識別子ファミリを制限することが GAN による target 分布の近似にどのような影響を与えるのか？
• RQ2 GAN の目的を最小化することが標準的な収束概念の下でターゲット分布への収束を意味する条件は何か？
• RQ3 さまざまな対向分散とそれらの収束推進力の強さにはどのような関係があるのか？
• RQ4 ニューラルネットワーク識別子は識別子を制限されたクラスとする場合や部分的に訓練された場合にモーメント整合性を保持するのか？
• RQ5 f-GAN、MMD-GAN、WGAN 系を含む GAN バリアント全体で結果はどのように一般化されるのか？

主な発見

• 特定の条件を満たす対向分散は制限された識別子により mu と mu* の間に一般化モーメント整合性を誘発する。
• 線形 f-GANs において、ニューラルネットワーク GANs を線形 GANs の上限として扱う場合、生成分布は一般化モーメント E_mu[psi] = E_mu*[psi] を満たす必要がある。
• 厳密な対向分散では目的関数が最小値へ収束することは生成分布の mu* への弱収束を含意する。
• Wasserstein-GAN は厳密対向分散の中で最も弱い目的を持ち、tau における収束を弱収束と一致させる。
• この枠組みは GAN の目的（GAN、f-GAN、MMD-GAN、WGAN、WGAN-GP、正規化 OT）を対向分散の概念の下で統合する。
• 自明な厳密対向分散は最も強力であり、Wasserstein と MMD はこの枠組みの中で最も弱い厳密対向分散に対応する。