[論文レビュー] Some Theoretical Properties of GANs

Gérard Biau, Benoı̂t Cadre+2 more|arXiv (Cornell University)|Mar 21, 2018

Generative Adversarial Networks and Image Synthesis参考文献 10被引用数 10

ひとこと要約

この論文は、生成対抗ネットワーク（GANs）の厳密な理論的分析を提供し、ジェンセン・シャノン発散との関連を確立し、弱い正則性条件のもとで生成器パラメータのほとんど確実な収束を証明する。また、推定された生成器分布に関する中心極限定理を導出し、漸近的最適性および安定性の結果により、対抗訓練のダイナミクスを正当化する。

ABSTRACT

Generative Adversarial Networks (GANs) are a class of generative algorithms that have been shown to produce state-of-the art samples, especially in the domain of image creation. The fundamental principle of GANs is to approximate the unknown distribution of a given data set by optimizing an objective function through an adversarial game between a family of generators and a family of discriminators. In this paper, we offer a better theoretical understanding of GANs by analyzing some of their mathematical and statistical properties. We study the deep connection between the adversarial principle underlying GANs and the Jensen-Shannon divergence, together with some optimality characteristics of the problem. An analysis of the role of the discriminator family via approximation arguments is also provided. In addition, taking a statistical point of view, we study the large sample properties of the estimated distribution and prove in particular a central limit theorem. Some of our results are illustrated with simulated examples.

研究の動機と目的

• GANsの数学的・統計的性質を分析することで、GANsのより深い理論的理解を提供すること。
• GANの対抗原理とジェンセン・シャノン発散の関係を明確にすること。
• 生成器最適化の文脈において、ディスクラミネータ族の役割を近似論法を通じて検討すること。
• 推定された生成器分布の大標本的性質（一貫性および漸近正規性を含む）を確立すること。
• 正則性条件のもとで、推定された生成器分布に関する中心極限定理を証明すること。

提案手法

• ディスクラミネータの本物のサンプルおよび生成されたサンプルに対する信頼度に基づく目的関数を用いた、確率論および経験過程の道具を用いたGANsの理論的分析。
• 変分表現および最適化双対性を通じて、GANの目的関数とジェンセン・シャノン発散との関連を確立する。
• 経験過程理論を用いて、標本サイズの増加に伴う生成器パラメータ推定の収束を分析する。
• 陰関数定理および正則性条件を用いて、生成器およびディスクラミネータのパラメータの漸近的性質を導出する。
• 弱い正則性仮定のもとで、生成器パラメータ推定が最適値にほとんど確実に収束することを証明する。
• 経験損失関数の勾配およびヘッシアンの漸近的分布を分析することで、推定された生成器分布に関する中心極限定理を導出する。

実験結果

リサーチクエスチョン

• RQ1 GANの目的関数は、ジェンセン・シャノン発散とどのように関連しているか？
• RQ2 GANsにおける生成器パラメータ推定の大きさの標本的性質は何か？
• RQ3 生成器パラメータがほとんど確実に最適値に収束する条件は何か？
• RQ4 ディスクラミネータ族の選択は、生成器の推定品質にどのように影響するか？
• RQ5 GANsにおける推定された生成器分布の漸近的分布は何か？

主な発見

• GANの目的関数が、真のデータ分布と生成器分布の間のジェンセン・シャノン発散を最小化することに等しいことが示された。
• 正則性条件のもとで、標本サイズの増加に伴い、生成器パラメータ推定が最適値にほとんど確実に収束することが証明された。
• 推定された生成器分布に関する中心極限定理が確立され、パラメータ推定の漸近正規性が示された。
• 有界性および損失関数の勾配およびヘッシアンの連続性を含む弱い仮定のもとで、生成器およびディスクラミネータのパラメータの収束が証明された。
• 生成器パラメータの漸近的分布は、真の損失関数のヘッシアンおよびディスクラミネータの勾配のヤコビアンによって特徴付けられ、訓練プロセスの安定性が保証された。
• 理論的枠組みにより、高次元かつ非パラメトリックな設定においても一貫性および漸近正規性が成立することを示し、GANsにおけるニューラルネットワークの使用を正当化した。