[論文レビュー] Adaptive Learning in Continuous Games: Optimal Regret Bounds and Convergence to Nash Equilibrium

Yu-Guan Hsieh, Kimon Antonakopoulos+1 more|arXiv (Cornell University)|Apr 26, 2021

Advanced Bandit Algorithms Research参考文献 60被引用数 8

ひとこと要約

本稿では、事前調整を必要とせず、敵対的相手に対して最適な$$\mathcal{O}(\sqrt{T})$$のリグレットを達成する、適応的ノーリグレット学習アルゴリズム—最適化されたデュアル平均法（OptDA）およびデュアル安定化最適化ミラー降下法（DS-OptMD）—を導入する。すべてのプレイヤーがこれらのアルゴリズムを使用する場合、変動安定ゲーム（凸-凹型および単調ゲームを含む）では、個々のリグレットが$$\mathcal{O}(1)$$に抑えられ、戦略の収束がナッシュ均衡に達する。

ABSTRACT

In game-theoretic learning, several agents are simultaneously following their individual interests, so the environment is non-stationary from each player's perspective. In this context, the performance of a learning algorithm is often measured by its regret. However, no-regret algorithms are not created equal in terms of game-theoretic guarantees: depending on how they are tuned, some of them may drive the system to an equilibrium, while others could produce cyclic, chaotic, or otherwise divergent trajectories. To account for this, we propose a range of no-regret policies based on optimistic mirror descent, with the following desirable properties: i) they do not require any prior tuning or knowledge of the game; ii) they all achieve O(\sqrt{T}) regret against arbitrary, adversarial opponents; and iii) they converge to the best response against convergent opponents. Also, if employed by all players, then iv) they guarantee O(1) social regret; while v) the induced sequence of play converges to Nash equilibrium with O(1) individual regret in all variationally stable games (a class of games that includes all monotone and convex-concave zero-sum games).

研究の動機と目的

• 連続ゲームにおけるノーリグレット学習の不安定性に対処し、標準的なアルゴリズムが微小な摂動に対して収束しなかったり発散したりするのを防ぐ。
• ノーリグレット学習と均衡への収束のギャップを埋めるために、弱い条件下でもナッシュ均衡への収束を保証するアルゴリズムを設計する。
• ゲームのパラメータやグローバルな調整を事前に知らなくても、最適なリグレットと安定性を保証する、連続ゲームにおける適応的学習の統一的枠組みを提供する。
• 有限ゲームに関する先行研究を、解析的・収束保証が得られる連続的かつ可能に非有界な行動空間へと拡張する。

提案手法

• 局所勾配情報に基づく適応的ステップサイズを用いた、オプティミスティックミラー降下を採用し、グローバルな調整の必要性を排除する。
• フォローザ・レギュライズド・リーダー（FTRL）にインspiredされた正則化機構を導入し、学習ダイナミクスの安定性を向上させる。
• プレイヤー固有の適応的ステップサイズルールを、局所勾配ノルムに基づいて定義し、ゲーム構造の事前知識なしに、耐障害性と収束性を確保する。
• 変動安定ゲームの条件下で、戦略の系列の収束を示すために、準-フェージェール数列解析を適用する。
• 凸性および滑らかさの仮定を活用し、勾配の変動と正則化を含む項にリグレットを新規に分解することで、リグレットバウンドを導出する。
• 数列に関する技術的補題を用いて、敵対的リグレットをバウンドし、解析における主要な数列の収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 連続ゲームにおけるノーリグレット学習は、ハイパーパrameterの事前調整なしに、ナッシュ均衡への収束を保証できるか？
• RQ2 ノーリグレット学習が周期的または発散的行動を示さず、安定した均衡結果をもたらすために必要な条件は何か？
• RQ3 すべてのプレイヤーが同一のアルゴリズムを採用する場合、敵対的相手に対して最適な$$\mathcal{O}(\sqrt{T})$$のリグレットを達成すると同時に、均衡への収束を保証できるか？
• RQ4 局所情報に基づく適応的ステップサイズは、連続ゲームにおけるオプティミスティックミラー降下の収束性およびリグレット特性にどのように影響を与えるか？
• RQ5 どのようなクラスのゲームが、ノーリグレット学習のもとで$$\mathcal{O}(1)$$の個々のリグレットとナッシュ均衡への収束を実現可能か？

主な発見

• 提案されたアルゴリズムは、任意の敵対的相手に対して、いかなる事前調整やゲームに関する知識なしに、$$\mathcal{O}(\sqrt{T})$$のリグレットを達成する。
• すべてのプレイヤーが同一のアルゴリズムを使用する場合、社会的リグレットは$$\mathcal{O}(1)$$に抑えられ、集団としての優れた性能が示される。
• 変動安定ゲーム（例：凸-凹型ゼロサムゲームや単調ゲーム）では、戦略の系列がナッシュ均衡に収束し、個々のリグレットが$$\mathcal{O}(1)$$に抑えられる。
• ゲームの完全な知識がなくても、収束する相手に対して最良応答への収束を保証する。
• 解析により、プレイヤーの行動の二乗差分の和がゼロに収束することが示され、軌道の漸近的安定性が裏付けられる。
• 非有界な行動空間を持つ連続ゲームにおいて、最適なリグレットバウンドを達成しながら均衡への収束を保証するという点で、本手法は初めての例である。