[論文レビュー] Game Theoretic Optimization via Gradient-based Nikaido-Isoda Function

Arvind U. Raghunathan, Anoop Cherian+1 more|arXiv (Cornell University)|May 15, 2019

Opinion Dynamics and Social Influence被引用数 5

ひとこと要約

本稿では、グローバル最適化を局所的勾配降下に置き換えることで、複数プレイヤーの非協力ゲームにおけるナッシュ均衡を計算するための新たな指標関数である勾配ベースの二階島-石田（GNI）関数を提案する。GNI関数は、1階の停留所にのみ消失し、勾配降下による部分線形収束を可能にする。双線形および2次ゲームでは、均衡が存在する場合に線形収束を保証する。

ABSTRACT

Computing Nash equilibrium (NE) of multi-player games has witnessed renewed interest due to recent advances in generative adversarial networks. However, computing equilibrium efficiently is challenging. To this end, we introduce the Gradient-based Nikaido-Isoda (GNI) function which serves: (i) as a merit function, vanishing only at the first-order stationary points of each player's optimization problem, and (ii) provides error bounds to a stationary Nash point. Gradient descent is shown to converge sublinearly to a first-order stationary point of the GNI function. For the particular case of bilinear min-max games and multi-player quadratic games, the GNI function is convex. Hence, the application of gradient descent in this case yields linear convergence to an NE (when one exists). In our numerical experiments, we observe that the GNI formulation always converges to the first-order stationary point of each player's optimization problem.

研究の動機と目的

• 非凸な複数プレイヤーゲームにおけるナッシュ均衡を効率的に計算する課題に対処すること。特にGAN訓練の文脈において。
• 各プレイヤーごとにグローバル最適化を必要とする古典的な二階島-石田関数の計算の非効率性を克服すること。
• 収束性と安定性の性質を保ちながら、局所的勾配降下を活用する計算的に扱いやすい代替関数を開発すること。
• 一般の非凸および特定の凸／2次設定下での提案手法の理論的収束保証を確立すること。
• GANに類似したゲーム設定において、標準的な最適化手法（例：Adam）と比較して、GNIに基づくアルゴリズムの経験的優位性を示すこと。

提案手法

• 古典的なNI関数におけるグローバル最小化を局所的勾配降下ステップに置き換える、勾配ベースの二階島-石田（GNI）関数を提案する。
• GNI関数を定義し、各プレイヤーの最適化問題の1階停留所にのみ消失するようにし、均衡の検出を保証する。
• 停留所ナッシュ点の近傍においてGNI関数の局所的安定性を証明し、信頼できる収束行動を保証する。
• プレイヤーの目的関数が2次関数である場合にGNI関数が凸であることを示し、ナッシュ均衡への勾配降下の線形収束を可能にする。
• GNI関数における勾配評価の計算コストを削減するためのセカント近似を導入し、その結果得られる不正確なアルゴリズムの収束解析を提供する。
• 凸性および非凸性の両設定下で収束保証付きで、GNI関数上での勾配降下アルゴリズムを実装し、停留所ナッシュ点への反復的改善を図る。

実験結果

リサーチクエスチョン

• RQ1 二階島-石田関数の勾配ベースの再定式化は、計算複雑性を低減しつつもナッシュ均衡への収束を保ち得るか？
• RQ2 GNI関数は、各プレイヤーの問題の1階停留所にのみ消失する有効な指標関数として適切か？
• RQ3 勾配降下がGNI関数上でどの条件下でナッシュ均衡へ線形収束するか？
• RQ4 GANの学習において、GNIベースのアルゴリズムはAdamなどの標準的最適化手法と比較してどのように差をつけるか？
• RQ5 GNIフレームワークは、GAN学習で一般的な確率的設定へ拡張可能か？また、どのような理論的保証を確立できるか？

主な発見

• GNI関数は、各プレイヤーの最適化問題の1階停留所にのみ消失するため、ナッシュ均衡計算の有効な指標関数である。
• 一般の非凸ゲームにおいて、GNI関数上での勾配降下は、部分線形収束により1階停留所ナッシュ点に収束する。
• 双線形ミニマックスゲームおよび多プレイヤー2次ゲームでは、GNI関数が凸であるため、均衡が存在する場合に勾配降下による線形収束が保証される。
• 数値実験では、GNIベースのアルゴリズムがさまざまなゲーム設定で一貫して停留所ナッシュ点に収束し、Adamや他の手法を上回る性能を示した。
• ハイパーパramータチューニングの結果、ディスクラミネーターの学習率（η）を高く設定すると収束が早まるが、生成器の崩壊のリスクが増加する。一方、ρ=1はバランスの取れた安定した降下を提供する。
• 実データ分布（P_r = N(μ, Σ)）を想定する設定でも、GNI法は線形GANの場合と同様に安定的かつ高速に収束を示し、分布の複雑さに対して頑健であることが示された。