[論文レビュー] Poincaré Recurrence, Cycles and Spurious Equilibria in Gradient-Descent-Ascent for Non-Convex Non-Concave Zero-Sum Games

Emmanouil-Vasileios Vlatakis-Gkaragkounis, Lampros Flokas+1 more|arXiv (Cornell University)|Oct 28, 2019

Markov Chains and Monte Carlo Methods参考文献 28被引用数 19

ひとこと要約

この論文は、非凸非凹なゼロサムゲームにおける勾配降下上昇ダイナミクスを分析し、GANs で見られる間接的競合構造のため、このようなダイナミクスが、意味のあるミニマックス解への収束ではなく、ポincare再帰、周期的サイクル、誤った均衡への収束を示す可能性があることを示している。最適化、ゲーム理論、力学系理論を統合することで、初期条件の正の測度の範囲でこれらの振る舞いを確立している。

ABSTRACT

We study a wide class of non-convex non-concave min-max games that generalizes over standard bilinear zero-sum games. In this class, players control the inputs of a smooth function whose output is being applied to a bilinear zero-sum game. This class of games is motivated by the indirect nature of the competition in Generative Adversarial Networks, where players control the parameters of a neural network while the actual competition happens between the distributions that the generator and discriminator capture. We establish theoretically, that depending on the specific instance of the problem gradient-descent-ascent dynamics can exhibit a variety of behaviors antithetical to convergence to the game theoretically meaningful min-max solution. Specifically, different forms of recurrent behavior (including periodicity and Poincar\'{e} recurrence) are possible as well as convergence to spurious (non-min-max) equilibria for a positive measure of initial conditions. At the technical level, our analysis combines tools from optimization theory, game theory and dynamical systems.

研究の動機と目的

• 生成的対抗的ネットワーク（GANs）の文脈において、非凸非凹なミニマックスゲームにおける勾配降下上昇ダイナミクスの理解を目的とする。
• 再帰的または周期的振る舞いによってミニマックス均衡への収束が失敗する条件を同定することを目的とする。
• 初期条件の正の測度の範囲で軌道を引きつける誤った均衡の存在を分析することを目的とする。
• 標準的な双線形ゼロサムゲームを拡張する広範なクラスのゲームにおける勾配降下上昇の不安定性を形式的に特徴づけること。

提案手法

• プレイヤーが滑らかな関数の入力を制御する非凸非凹ゲームのクラスを形式化し、その出力が双線形ゼロサムゲームにフィードバックされる構造を定式化する。
• 力学系理論のツールを用いて、勾配降下上昇軌道の長期的振る舞いを分析する。
• 最適化とゲーム理論の枠組みを用いて均衡および安定性の性質を特徴づける。
• 位相的および解析的議論を用いて、ポincare再帰および周期的軌道の存在を確立する。
• 測度論的議論を用いて、誤った均衡が初期条件の正の測度の範囲で吸引的であることを示す。
• 最適化、ゲーム理論、力学系理論の技術を統合し、複雑なゲームダイナミクスにおける収束および再帰を分析する。

実験結果

リサーチクエスチョン

• RQ1 非凸非凹ゼロサムゲームにおける勾配降下上昇ダイナミクスは、ミニマックス均衡への収束を示すのか、それとも再帰的振る舞いが現れるのか？
• RQ2 誤った均衡が初期条件の正の測度の範囲で軌道を引きつけるのはどのような条件下か？
• RQ3 ポincare再帰および周期性は、このようなゲームのダイナミクスにどの程度顕在化するか？
• RQ4 GANs における間接的競合構造は、訓練ダイナミクスにおける不安定性をどのように生じさせるか？
• RQ5 このクラスのゲームにおける収束または非収束について、どのような理論的保証を提示できるか？

主な発見

• 研究対象のゲームクラスにおける勾配降下上昇ダイナミクスは、ポincare再帰を示す可能性があり、これは軌道が初期状態に無限回にわたって任意に近づくことを意味する。
• 特定のパrameter設定では、安定な極小サイクルを含む周期的振る舞いがダイナミクスに可能である。
• 誤った（ミニマックスでない）均衡が初期条件の正の測度の範囲で吸引的であることがあり、これは意味のある解への収束が一般には成立しないことを示唆する。
• 理論的分析により、滑らかで良好に構造化された非凸非凹ゲームにおいても、ミニマックス均衡への収束が保証されないことが確認された。
• 力学系の位相的安定性の観点から、ダイナミクスは根本的に不安定であり、再帰的かつ収束しない軌道が一般的に見られることが示された。
• 結果は、GANの訓練における勾配降下上昇法の本質的限界を強調しており、このような振る舞いがモード崩壊や訓練の不安定性を説明する可能性がある。