[論文レビュー] Generalization of GANs under Lipschitz continuity and data augmentation

Khoat Than, Nghia Vu|arXiv (Cornell University)|Apr 6, 2021

Generative Adversarial Networks and Image Synthesis参考文献 47被引用数 4

ひとこと要約

この論文は、一般化誤差を生成器、識別器、最適化誤差に分解することで、GANの厳密な一般化解析を提供する。Lipschitz連続性を用いて、新しい一様および非一様一般化バウンドを確立し、ゼロ次および一次の損失情報に対するペナルティが、なぜLipschitz正則化とデータ拡張がGANの性能を向上させるかを説明する。

ABSTRACT

Generative adversarial networks (GANs) have been being widely used in various applications. Arguably, GANs are really complex, and little has been known about their generalization. In this paper, we make a comprehensive analysis about generalization of GANs. We decompose the generalization error into an explicit composition: generator error + discriminator error + optimization error. The first two errors show the capacity of the player's families, are irreducible and optimizer-independent. We then provide both uniform and non-uniform generalization bounds in different scenarios, thanks to our new bridge between Lipschitz continuity and generalization. Our bounds overcome some major limitations of existing ones. In particular, our bounds show that penalizing the zero- and first-order informations of the GAN loss will improve generalization, answering the long mystery of why imposing a Lipschitz constraint can help GANs perform better in practice. Finally, we show why data augmentation penalizes the zero- and first-order informations of the loss, helping the players generalize better, and hence explaining the highly successful use of data augmentation for GANs.

研究の動機と目的

• 広範に使用されているにもかかわらず、依然として十分に理解されていないGANの一般化行動を理解すること。
• 一般化誤差を分解し、生成器誤差、識別器誤差、最適化誤差という3つの不可削減な成分に分離すること。
• 既存の一般化バウンドの限界を克服し、Lipschitz連続性と一般化の間の新しい橋渡しを導入すること。
• Lipschitz正則化とデータ拡張の実験的成功を理論的分析を通じて説明すること。
• さまざまな訓練シナリオに適用可能な一様および非一様一般化バウンドを提供すること。

提案手法

• GANの一般化誤差を、生成器誤差、識別器誤差、最適化誤差という3つの不可削減な成分に分解する。
• 損失関数のLipschitz連続性と一般化性能の間の新しい理論的橋渡しを導入する。
• このLipschitzベースの枠組みを用いて、一様および非一様一般化バウンドを導出する。
• GAN損失のゼロ次および一次の情報をペナルティ化することで一般化がどのように向上するかを分析する。
• データ拡張が同様の損失の微分を暗黙的にペナルティ化することで、一般化が向上することを示す。
• 統計的学習理論の理論的道具を用いて、モデル容量、最適化、一般化の間の関係を形式化する。

実験結果

リサーチクエスチョン

• RQ1 GANの一般化誤差を解釈可能な成分に正式に分解することは可能か？
• RQ2 Lipschitz連続性は、GANの一般化を制御する上で果たす役割は何か？
• RQ3 実際のGANの一般化を向上させるために、識別器にLipschitz制約を課す理由は何か？
• RQ4 データ拡張はGAN訓練における一般化をどのように向上させるか？
• RQ5 Lipschitzに基づく解析を用いて、GANのよりタイトで情報量の多い一般化バウンドを導出できるか？

主な発見

• GANにおける一般化誤差は、本質的に生成器誤差、識別器誤差、最適化誤差から成り立ち、最初の2つは不可削減であり最適化手法に依存しない。
• 損失関数のLipschitz連続性は、一般化を制御するための重要な理論的メカニズムであり、新しい一様および非一様バウンドを可能にする。
• GAN損失のゼロ次および一次の微分をペナルティ化することで一般化が向上し、重みクリッピングや勾配ペナルティ法の実験的成功を説明できる。
• データ拡張は、損失の同様のゼロ次および一次情報に対して暗黙的にペナルティを課すことで一般化を向上させ、その広範な使用に理論的根拠を与える。
• 提案されたバウンドは、既存の研究の主要な限界を克服し、アーキテクチャ的および訓練上の制約と一般化性能を直接結びつける、より情報量の多いものである。
• 分析により、生成器および識別器の関数族の容量が、最適化プロセスに依存しない不可削減一般化誤差に直接影響することが明らかになった。