[論文レビュー] Negative Momentum for Improved Game Dynamics

Gauthier Gidel, Reyhane Askari Hemmat+5 more|arXiv (Cornell University)|Jul 12, 2018

Generative Adversarial Networks and Image Synthesis参考文献 39被引用数 23

ひとこと要約

本稿では、GAN などの微分可能なゲームの学習を安定化し収束を向上させるために、交互勾配降下法に負のモーメンタムを導入する手法を提案する。交互な更新と負のモーメンタムを組み合わせることで、双線形ゲームでは線形収束を達成し、飽和型 GAN においても従来の正またはゼロのモーメンタムを用いた手法を上回る優れた性能を示す。

ABSTRACT

Games generalize the single-objective optimization paradigm by introducing different objective functions for different players. Differentiable games often proceed by simultaneous or alternating gradient updates. In machine learning, games are gaining new importance through formulations like generative adversarial networks (GANs) and actor-critic systems. However, compared to single-objective optimization, game dynamics are more complex and less understood. In this paper, we analyze gradient-based methods with momentum on simple games. We prove that alternating updates are more stable than simultaneous updates. Next, we show both theoretically and empirically that alternating gradient updates with a negative momentum term achieves convergence in a difficult toy adversarial problem, but also on the notoriously difficult to train saturating GANs.

研究の動機と目的

• 微分可能なゲーム（GAN など）の学習における不安定性と収束不能性を勾配ベース手法で解消すること。
• モーメンタムと更新順序（同時 vs. 交互）が敵対的ゲームにおける収束に与える影響を調査すること。
• 交互更新における負のモーメンタムが動的安定性を向上させ、困難な設定でも収束を可能にすることを示すこと。
• 提案手法の理論的保証と、トロイ・ゲームおよび実世界の GAN ベンチマークにおける実証的検証を提供すること。

提案手法

• 敵対的ゲームにおける発振的挙動を抑制するために、負のモーメンタム項を含む交互勾配更新を用いる。
• 双線形ゲームの定式化 min_θ max_φ θᵀAφ を用いた線形安定性解析により、手法の動的挙動を分析する。
• 異なるモーメンタム値におけるシステムのヤコビ行列の固有値を検討することで収束条件を導出する。
• モーメンタムの動的挙動をモデル化するため、状態拡張型定式化を採用し、導出される線形作用素の対角化可能性を証明する。
• スペクトル半径解析を用いて収束速度の上限を導出し、負のモーメンタム下で指数的減衰が成立することを示す。
• 合成的な双線形ゲームおよび飽和損失関数を用いた実世界の GAN に対して、結果を検証する。

実験結果

リサーチクエスチョン

• RQ1 負のモーメンタムを交互勾配更新に組み込むことで、微分可能なゲームにおける安定化と収束加速が達成できるか？
• RQ2 なぜ正またはゼロのモーメンタムでは双線形ゲームで収束しないのに対し、負のモーメンタムでは収束可能なのか？
• RQ3 モーメンタムを適用した場合、同時更新と交互更新の選択が収束に与える影響は何か？
• RQ4 ヤコビ行列固有値の虚部が大きいゲームにおいて、負のモーメンタムが局所的収束をどのように改善するか、理論的メカニズムは何か？
• RQ5 特に飽和損失関数を用いた実用的 GAN において、負のモーメンタムは学習の安定性と収束性を向上させるか？

主な発見

• 負のモーメンタムを用いた交互更新は双線形ゲームで線形収束を達成するが、正またはゼロのモーメンタムでは収束しない。
• 収束率が O(Δ₀(1 - η²σ²_min(A)/16)^t) で有界であることが示され、最適解への指数的減衰が確認される。
• 同時更新では、たとえ負のモーメンタムであっても収束しない。これはスペクトル半径が 1 より大きいままであるためである。
• 理論的解析により、ヤコビ行列固有値の虚部が大きい場合、負のモーメンタムが安定性を向上させ、発振的発散を低減することが示された。
• 実証的結果により、負のモーメンタムが、トロイの設定および実データセットにおける困難な飽和型 GAN でも収束を可能にすることが確認された。
• 標準的手法（正またはゼロのモーメンタム）に比べ、収束しない場合に特に優れた性能を発揮することが示された。