[論文レビュー] Generative Adversarial Networks (GANs): What it can generate and What it cannot?

Manisha Padala, Sujit Gujar|arXiv (Cornell University)|Mar 31, 2018

Generative Adversarial Networks and Image Synthesis参考文献 62被引用数 15

ひとこと要約

この論文は、生成対抗ネットワーク（GANs）の体系的理論的レビューを提供し、最近の研究を、主な問題であるモード崩壊と収束不能性に分類しながら、ゲーム理論、統計的学習、最適化の観点から分析する。4つの解決策タイプを特定し、画像生成におけるGANの収束、一般化、分布学習に関する主要な理論的進展を統合する。

ABSTRACT

In recent years, Generative Adversarial Networks (GANs) have received significant attention from the research community. With a straightforward implementation and outstanding results, GANs have been used for numerous applications. Despite the success, GANs lack a proper theoretical explanation. These models suffer from issues like mode collapse, non-convergence, and instability during training. To address these issues, researchers have proposed theoretically rigorous frameworks inspired by varied fields of Game theory, Statistical theory, Dynamical systems, etc. In this paper, we propose to give an appropriate structure to study these contributions systematically. We essentially categorize the papers based on the issues they raise and the kind of novelty they introduce to address them. Besides, we provide insight into how each of the discussed articles solves the concerned problems. We compare and contrast different results and put forth a summary of theoretical contributions about GANs with focus on image/visual applications. We expect this summary paper to give a bird's eye view to a person wishing to understand the theoretical progress in GANs so far.

研究の動機と目的

• GANの理論的研究の増加する蓄積を、収束性と一般化を理解するための整合的な枠組みに整理・構造化すること。
• 経験的および理論的観察に基づき、GAN学習の主な課題であるモード崩壊と非収束を特定・分類すること。
• 近年の研究がゲーム理論、統計的学習、力学系の概念をどのように応用してGANの安定性と学習ダイナミクスを改善しているかを分析すること。
• 理論的貢献を比較的統合的に提示し、各アプローチの独自性と影響力を強調すること。
• 未解明の分野や既存の理論的解決策の間の潜在的相乗効果を特定することで、今後の研究を導くこと。

提案手法

• 特定の問題に焦点を当てたGAN関連の理論的論文を、モード崩壊（C1）と非収束／安定性（C2）に分類する。
• 解決策アプローチを4つのタイプに分類する：(i) 新しい発散測度の導入、(ii) 二段階タイムスケール更新による学習ダイナミクスの変更、(iii) 一般化境界の使用、(iv) 変分発散最小化によるGAN目的関数の再定式化。
• 無限容量および大標本極限などの仮定下での収束保証を分析し、その実用的妥当性を評価する。
• f発散、ウォッシャー史ン距離、および対抗発散の使用といった理論的枠組みを評価し、GAN学習目的関数の形式化に用いる。
• 誕生日パラドックステスト（birthday paradox test）などの経験的診断手法を用い、モード崩壊の定量的評価とサンプル多様性の評価を行う。
• 貢献が問題と解決策タイプにどのように対応するかをマッピングするため、構造化された表（表2）を用いて論文間の理論的結果を比較する。

実験結果

リサーチクエスチョン

• RQ1 GANの安定的かつ効果的な学習を妨げる主な理論的課題は何か。特に、モード崩壊と非収束という点で。
• RQ2 ゲーム理論的均衡、統計的一般化境界、最適化ダイナミクスといった異なる理論的枠組みは、GANの不安定性を説明・解決するためにどのように寄与しているか。
• RQ3 収束の証明や一般化境界といった理論的進展は、現実世界のGAN学習においてどの程度実用的関連性を持つのか。
• RQ4 f発散やMMDベースの損失を用いたGAN目的関数の修正は、学習安定性と分布学習をどの程度向上させるのか。
• RQ5 アーキテクチャの選択や最適化アルゴリズム（例：Adam、二段階タイムスケール更新）は収束にどのように寄与しており、理論的にどのように正当化されているのか。

主な発見

• 二段階タイムスケール更新ルール（Heusel et al., 2017）は、ミニバッチサンプリングが行われる現実的な仮定のもとでも、局所的ナッシュ均衡への収束を証明する。
• 誕生日パラドックステスト（Arora et al., 2018）は、サンプル多様性の定量的測定を可能にし、GANにおけるモード崩壊の経験的検出を可能にする。
• GANの一般化境界（Arora et al., 2017）は、テスト誤差が識別器のパラメータ数に依存することを示し、モデル容量と一般化に関する理論的知見を提供する。
• 対抗発散フレームワーク（Liu et al., 2017a）は、識別器のパラメータ数と収束速度の間の明確な関係を確立し、学習ダイナミクスの理論的理解を向上させる。
• 変分発散最小化（Nowozin et al., 2016）は、GAN目的関数を一般化し、緩い条件下で鞍点への収束を証明し、より安定した学習基盤を提供する。
• ウォッシャー史ンGAN（WGAN）は、MMD-GAN（Li et al., 2017）の特別な場合として形式的に示され、GANとモーメントマッチングネットワークを結びつけ、より安定した学習目的関数を提供する。