[論文レビュー] Mutation-Driven Follow the Regularized Leader for Last-Iterate Convergence in Zero-Sum Games

Kenshi Abe, Mitsuki Sakamoto+1 more|arXiv (Cornell University)|Jun 18, 2022

Game Theory and Applications被引用数 5

ひとこと要約

本稿では、2人ゼロサムゲームにおける行動確率に変異駆動の摂動を導入する、Follow the Regularized Leader（FTRL）の新規変種であるミュータントFTRL（M-FTRL）を提案する。連続時間ダイナミクスをリプレカレーター・ミュータントダイナミクス（RMD）としてモデル化することで、M-FTRLは近似ナッシュ均衡への最後の反復収束を達成し、指数的収束率を示す。これは、完全情報およびバンドイット情報設定の両方で、FTRLおよびオプティミスティックFTRLを上回る性能を発揮する。

ABSTRACT

In this study, we consider a variant of the Follow the Regularized Leader (FTRL) dynamics in two-player zero-sum games. FTRL is guaranteed to converge to a Nash equilibrium when time-averaging the strategies, while a lot of variants suffer from the issue of limit cycling behavior, i.e., lack the last-iterate convergence guarantee. To this end, we propose mutant FTRL (M-FTRL), an algorithm that introduces mutation for the perturbation of action probabilities. We then investigate the continuous-time dynamics of M-FTRL and provide the strong convergence guarantees toward stationary points that approximate Nash equilibria under full-information feedback. Furthermore, our simulation demonstrates that M-FTRL can enjoy faster convergence rates than FTRL and optimistic FTRL under full-information feedback and surprisingly exhibits clear convergence under bandit feedback.

研究の動機と目的

• 標準的なFTRLおよびその変種には、時間平均化なしに周期的になる傾向があるため、最後の反復収束の欠如を是正すること。
• ナッシュ均衡の近似である定常点に直接収束する、レギュレータリティのない学習アルゴリズムを開発すること。
• 変異に基づく摂動が学習ダイナミクスを安定化させ、部分情報フィードバック下でも収束を可能にするかを調査すること。
• 一般の正則化関数および連続時間ダイナミクス下でのM-FTRLの理論的収束保証を確立すること。
• M-FTRLの収束速度とロバスト性が、FTRLおよびオプティミスティックFTRLと比較して、多様なゲーム設定においてより速いかを経験的に検証すること。

提案手法

• M-FTRLは、行動確率を摂動するために変異パラメータμを導入し、標準的なFTRL更新則に確率的摂動成分を追加する。
• M-FTRLの連続時間ダイナミクスは、エントロピー正則化子を用いる場合、リプレカレーター・ミュータントダイナミクス（RMD）と等価であることが示された。
• 参照戦略ciを用いた時間平均戦略更新を採用し、収束速度を向上させるために適応的参照戦略を用いる。
• バンドイットフィードバックでは、FTRLやO-FTRLと異なり、バイアスのない報酬推定器を必要としない重要度重み付き推定器を用いる。
• 理論的分析により、M-FTRLの軌道がRMDの定常点に収束することを証明し、エントロピー正則化下では指数的収束が成立することを示した。
• アルゴリズムは固定または適応的参照戦略で実装され、探索と収束速度のバランスを取るために変異パラメータμを調整する。

実験結果

リサーチクエスチョン

• RQ1 FTRLダイナミクスにおける変異駆動摂動が、2人ゼロサムゲームにおける最後の反復収束を保証できるか？
• RQ2 完全情報フィードバック下で、M-FTRLはFTRLおよびオプティミスティックFTRLよりも速い収束速度を達成するか？
• RQ3 バンドイットフィードバック下でも、M-FTRLは最後の反復収束を維持できるか？（ここでは部分的な報酬情報のみが利用可能）
• RQ4 M-FTRLダイナミクスの定常点は一意的で、初期戦略の選択に依存しないか？
• RQ5 M-FTRLとリプレカレーター・ミュータントダイナミクス（RMD）の理論的関係は何か？

主な発見

• エントロピー正則化子を用いる場合、M-FTRLはRMDの定常点に指数的収束率で収束し、新たな理論的保証を確立した。
• 完全情報フィードバック下では、M-FTRLはFTRLおよびオプティミスティックFTRLよりも速い特徴的劣位性の減少を達成し、適応的参照戦略が特徴的劣位性をゼロにまで駆り立てる。
• バンドイットフィードバック設定下では、M-FTRLは明確な最後の反復収束を示したが、O-FTRLは収束しなかった。これは、部分情報下でもロバストであることを示している。
• エントロピー正則化下のM-FTRLダイナミクスは数学的にRMDと等価であり、学習アルゴリズムと進化的ゲームダイナミクスの間の新たな接点を提供する。
• 10×10および50×50のランダムユーティリティゲームにおいて、適応的参照戦略を用いたM-FTRLは、100のインスタンス平均でほぼゼロの特徴的劣位性を達成した。
• M-EqおよびRBPSゲームにおいて、M-FTRLの定常点は一意的であり、初期戦略に依存しないことが確認され、理論的一意性結果を支持した。