[論文レビュー] On Finding Local Nash Equilibria (and Only Local Nash Equilibria) in Zero-Sum Games

Eric Mazumdar, Michael I. Jordan+1 more|arXiv (Cornell University)|Jan 3, 2019

Advanced Bandit Algorithms Research参考文献 23被引用数 78

ひとこと要約

論文は Local Symplectic Surgery（局所シンプレクティック手術）を導入します。これは二時刻スケールの手法で、二人零和連続ゲームにおける局所ナッシュ均衡へ収束し、勾配ダイナミクスを妨げる非ナッシュ吸引点を回避します。

ABSTRACT

We propose local symplectic surgery, a two-timescale procedure for finding local Nash equilibria in two-player zero-sum games. We first show that previous gradient-based algorithms cannot guarantee convergence to local Nash equilibria due to the existence of non-Nash stationary points. By taking advantage of the differential structure of the game, we construct an algorithm for which the local Nash equilibria are the only attracting fixed points. We also show that the algorithm exhibits no oscillatory behaviors in neighborhoods of equilibria and show that it has the same per-iteration complexity as other recently proposed algorithms. We conclude by validating the algorithm on two numerical examples: a toy example with multiple Nash equilibria and a non-Nash equilibrium, and the training of a small generative adversarial network (GAN).

研究の動機と目的

• ゼロサムゲームにおける勾配ベースの方法の限界を、非ナッシュ吸引点のために特定する。
• 吸引点が正確に局所（微分）ナッシュ均衡に対応するダイナミクスベースのアルゴリズムを提案する。
• 等しく近傍の振動を回避し、既存の勾配法と同程度の反復ごとの計算量を確保する。

提案手法

• 局所ナッシュ均衡と正確に一致する極限連続時間フローを定義する。
• 行列反転を伴わずに極限ダイナミクスを近似する二時刻離散化（Local Symplectic Surgery）を導入する。
• 臨時変数を用いて、臨界点の近傍でヤコビアンの反対対称成分を打ち消す高速調整項を実装する。
• 極限ダイナミクスの唯一の吸引固定点が微分ナッシュ均衡であることを证明する。
• 無偏り確率的推定とノイズに対する頑健性を、二時刻確率近似フレームワークで示す。
• 小さな GAN 実験とおもちゃの 2 次元の例を提供し、局所ナッシュ均衡への収束を検証する。

実験結果

リサーチクエスチョン

• RQ1 ゼロサムゲームにおける勾配ベースのダイナミクスは非ナッシュの停留点へ収束し得るのか、どの条件下でそうなるのか。
• RQ2 どのようにして、吸引固定点がゼロサムゲームにおける（微分）局所ナッシュ均衡と一致するダイナミクスを設計するのか。
• RQ3 ノイズがある場合に、二時刻離散化は所望の連続時間ダイナミクスを信頼性高く追跡できるのか。
• RQ4 標準の勾配法と比較したとき、反復あたりの計算コストはいくらで、行列の反転を回避できるのか。
• RQ5 実証的実験（おもちゃの例と GAN）は局所ナッシュ均衡への収束と非ナッシュ吸引点の回避を支持するのか。

主な発見

• 提案された Local Symplectic Surgery により、唯一の吸引固定点は局所ナッシュ均衡である。
• 連続時間ダイナミクスは均衡点近傍で振動を示さず、臨界点で実固有値を持つため、リミットサイクルを回避する。
• 二時刻実装は行列反転を必要とせず、他の勾配ベース手法と同程度の計算量を維持できる。
• 本手法は、 consensus optimization や symplectic gradient adjustment のような他の勾配補正手法に陥る非ナッシュ LASE への収束を排除する。
• 数値実験はおもちゃの例で局所ナッシュ均衡への収束を示し、提案法を用いて小さな GAN の訓練にも成功を示す。