[論文レビュー] Competitive Gradient Descent

Florian Schaefer, Anima Anandkumar|arXiv (Cornell University)|Dec 1, 2019

Stochastic Gradient Optimization Techniques被引用数 35

ひとこと要約

本稿では、ゲームの局所的ダイナミクスの正則化された双線形近似を解くことで、競合的2人ゲームにおけるナッシュ均衡を計算するための新規アルゴリズム、競争的勾配降下法（CGD）を提案する。凸・凹型ゼロサムゲームでは指数的局所収束を達成し、非凸・凹型の設定でも発散を回避する。勾配降下法の代替手法としてのオピニオンやコンSENSUSベースの手法に比べ、ステップサイズの調整なしに強いプレイヤー間の相互作用に対してもロバストである。

ABSTRACT

We introduce a new algorithm for the numerical computation of Nash equilibria of competitive two-player games. Our method is a natural generalization of gradient descent to the two-player setting where the update is given by the Nash equilibrium of a regularized bilinear local approximation of the underlying game. It avoids oscillatory and divergent behaviors seen in alternating gradient descent. Using numerical experiments and rigorous analysis, we provide a detailed comparison to methods based on \emph{optimism} and \emph{consensus} and show that our method avoids making any unnecessary changes to the gradient dynamics while achieving exponential (local) convergence for (locally) convex-concave zero sum games. Convergence and stability properties of our method are robust to strong interactions between the players, without adapting the stepsize, which is not the case with previous methods. In our numerical experiments on non-convex-concave problems, existing methods are prone to divergence and instability due to their sensitivity to interactions among the players, whereas we never observe divergence of our algorithm. The ability to choose larger stepsizes furthermore allows our algorithm to achieve faster convergence, as measured by the number of model evaluations.

研究の動機と目的

• 競合的2人ゲームにおける交互勾配降下法で一般的に見られる不安定性や発散問題を解決すること。
• 強いプレイヤー間の相互作用下でもステップサイズの調整を必要とせず、安定的かつ収束的ダイナミクスを維持する手法を開発すること。
• 局所ゲームダイナミクスを正則化された双線形近似でモデル化することで、勾配降下法を2人ゲーム設定に一般化すること。
• 特に非凸・凹型の設定において、オピニオンやコンセンサスベースの手法に代わるロバストな代替手法を提供すること。
• 勾配ダイナミクスへの不要な変更を避ける一方で、より大きな安定的ステップサイズを許容することで収束速度を向上させること。

提案手法

• 各反復において、局所ゲームダイナミクスの正則化された双線形近似のナッシュ均衡を計算する。
• 両プレイヤーの勾配と相互作用を考慮した共同最適化更新に、標準的な勾配更新を置き換える。
• ゲームの局所構造を近似する正則化されたミニマックス問題を解くことで、更新則を導出する。
• 正則化により、交互勾配降下法で見られる振動的挙動を防止し、安定性を確保する。
• 強い相互作用下でもステップサイズの選択に依存しないように設計されており、ロバスト性が向上する。
• 必要がない限り勾配ダイナミクスを変更しないように維持し、不要な変更を回避する。

実験結果

リサーチクエスチョン

• RQ1 2人ゲームの勾配ベース手法が、ステップサイズのチューニングなしに安定的かつ収束的動作を達成できるか？
• RQ2 本手法は、オピニオンやコンセンサスベースの手法と比較して、収束性と安定性においてどのように異なるか？
• RQ3 本手法は（局所的に）凸・凹型ゼロサムゲームにおいて指数的局所収束を維持するか？
• RQ4 従来の手法が失敗する非凸・凹型ゲームにおいて、本手法は発散を回避できるか？
• RQ5 本手法は安定性を損なわずに、どの程度大きなステップサイズを許容できるか？

主な発見

• 提案された競争的勾配降下法は、（局所的に）凸・凹型ゼロサムゲームにおいて指数的局所収束を達成する。
• 強いプレイヤー間の相互作用下でも、ステップサイズの調整なしに安定的かつ収束的である。
• 非凸・凹型の設定では、既存の手法が頻繁に発散するのに対し、本アルゴリズムは発散しない。
• 従来の手法よりも大きなステップサイズを許容でき、モデル評価の観点からより高速な収束を実現する。
• 勾配ダイナミクスへの不要な変更を回避し、ゲームの固有の挙動を保持する。
• 数値実験により、オピニオンやコンセンサスベースの手法に比べ、優れた安定性と収束速度が確認された。