[論文レビュー] Generative Minimization Networks: Training GANs Without Competition

Paulina Grnarova, Yannic Kilcher+3 more|arXiv (Cornell University)|Mar 23, 2021

Artificial Intelligence in Games参考文献 45被引用数 7

ひとこと要約

本稿では、敵対的最小最大化ゲームを二重性ギャップ（DG）に基づく最小化問題に置き換えることで、GANのための新しい学習目的である生成最小化ネットワーク（GMN）を提案する。DGを単一の目的関数として最適化することで、標準的な勾配降下法を用いた安定かつ収束性のある学習が可能となり、サイクルの発生を排除し、ハイパーパrameterへの感受性が低くなる。実験結果では、最先端のインceptionスコアと安定した学習曲線を達成した。

ABSTRACT

Many applications in machine learning can be framed as minimization problems and solved efficiently using gradient-based techniques. However, recent applications of generative models, particularly GANs, have triggered interest in solving min-max games for which standard optimization techniques are often not suitable. Among known problems experienced by practitioners is the lack of convergence guarantees or convergence to a non-optimum cycle. At the heart of these problems is the min-max structure of the GAN objective which creates non-trivial dependencies between the players. We propose to address this problem by optimizing a different objective that circumvents the min-max structure using the notion of duality gap from game theory. We provide novel convergence guarantees on this objective and demonstrate why the obtained limit point solves the problem better than known techniques.

研究の動機と目的

• 最小最大化ゲーム構造に起因する標準GAN学習の不安定性と収束性の欠如を解消すること。
• 敵対的最小最大化目的を、最適化安定性を向上させるために二重性ギャップ（DG）に基づく最小化目的に置き換えること。
• 標準GANの仮定の下で、新しい目的関数に対する理論的収束保証を提供すること。
• 生成器と判別器に別々の学習率を必要としない、頑健な学習を可能にすること。
• 訓練進捗の監視や過学習の回避に有効な解釈可能な学習曲線（例：DGの訓練/検証）を提供すること。

提案手法

• ゲーム理論的指標としての二重性ギャップ（DG）を最小化する形にGAN目的関数を再定式化する。DGはナッシュ均衡からの距離を測る指標である。
• 生成器および判別器のパラメータに関して、DG目的関数を勾配降下法で最適化することで、最小最大化ゲームを連合最小化問題に変換する。
• 1トレーニングステップあたりの最適化ステップ数を表すハイパーパrameter $ k $ を導入し、安定性と収束速度のバランスを図る。
• 曲率の性質を活用して収束を高速化する、適応的最適化手法（例：Adam）をDG目的関数に適用する。
• 一般化の監視のため、訓練集合および検証集合の両方でDGを計算する。これは標準最適化におけるものと類似している。
• DGをGAN性能の代理指標として用い、低いDG値は近似的に最適解への収束を示す。

実験結果

リサーチクエスチョン

• RQ1 二重性ギャップは、敵対的最小最大化ゲームに代わる安定的で単一の目的関数としての訓練信号として用いられるか？
• RQ2 二重性ギャップを最小化することは、勾配降下・上昇を用いた標準GAN学習と比較して、より良い収束性と安定性をもたらすか？
• RQ3 DG目的関数は、強力な収束保証を持つ標準的な最小化手法で最適化可能か？
• RQ4 DGベースの学習は、生成器と判別器に別々の学習率を必要としない、ハイパーパrameter選択への感受性を低減するか？
• RQ5 DGベースの学習曲線（訓練および検証）は、モデル性能の監視や過学習の防止に有効に機能するか？

主な発見

• 提案された生成最小化ネットワーク（GMN）は、$ k=10 $ の条件下でCIFAR10で22.14のFréchet Inception Distance（FID）を達成し、Adamを用いた標準GANの学習を上回った。
• MNISTでは、$ k=25 $ の条件下でインセプションスコア9.01を達成し、実データスコアの9.9に近く、高品質なサンプル生成を示した。
• $ k=1 $ で学習すると発散するが、$ k $ を10に引き上げることで安定化し、二重性ギャップを0.24に低下させ、$ k=10 $ を超えてはさらなる改善がほとんど見られなかった。
• DGベースの学習曲線（DG訓練およびDG検証）が、訓練全体を通して近接していることから、過学習が発生せず、一貫した一般化性能が得られていることが示された。
• 本手法は、標準GANで見られるサイクル的挙動を排除し、固有値およびパス角度解析（図13）により、劣悪な局所最適解への収束を回避した。
• 理論的解析により、アルゴリズムの極限点が発散量ゼロの点に収束することが示され、標準GANの仮定の下で収束速度の導出がなされた。