[論文レビュー] Online Double Oracle

Le Cong Dinh, Yaodong Yang+7 more|arXiv (Cornell University)|Mar 13, 2021

Advanced Bandit Algorithms Research参考文献 3被引用数 4

ひとこと要約

本稿では、オンライン学習とダブルオラクル手法を組み合わせて大規模な2人ゼロサム正規形ゲームを解くための新規アルゴリズムであるオンラインダブルオラクル（ODO）を提案する。ノーレグレット学習と動的戦略プールの拡張を活用することで、$\mathcal{O}(\sqrt{Tk\log(k)})$ のレグレットバウンドを達成する。ここで $k$ は戦略空間全体ではなくナッシュ均衡のサポートサイズに依存するため、収束が高速になり、敵の戦略的行動を効果的に利用可能となる。実世界のゲームにおいて、DO や PSRO や MWU よりも収束速度と報酬の両面で優れている。

ABSTRACT

Solving strategic games with huge action space is a critical yet under-explored topic in economics, operations research and artificial intelligence. This paper proposes new learning algorithms for solving two-player zero-sum normal-form games where the number of pure strategies is prohibitively large. Specifically, we combine no-regret analysis from online learning with Double Oracle (DO) methods from game theory. Our method -- \emph{Online Double Oracle (ODO)} -- is provably convergent to a Nash equilibrium (NE). Most importantly, unlike normal DO methods, ODO is \emph{rationale} in the sense that each agent in ODO can exploit strategic adversary with a regret bound of $\mathcal{O}(\sqrt{T k \log(k)})$ where $k$ is not the total number of pure strategies, but rather the size of \emph{effective strategy set} that is linearly dependent on the support size of the NE. On tens of different real-world games, ODO outperforms DO, PSRO methods, and no-regret algorithms such as Multiplicative Weight Update by a significant margin, both in terms of convergence rate to a NE and average payoff against strategic adversaries.

研究の動機と目的

• 制限されたアクション空間を有する2人ゼロサム正規形ゲームを解く課題に対処すること。
• 全ゲームサイズに依存しないが、合理的（ノーレグレット）な性質を維持するスケーラブルなアルゴリズムを開発すること。
• 従来のダブルオラクル手法とは異なり、対戦中における敵の戦略的利用を可能にすること。
• ナッシュ均衡への収束を高速化し、戦略的相手に対して高い平均報酬を得ること。
• 全ゲーム行列の知識に依存するのを減らし、高価なベストリスポンスオラクル呼び出しを最小限に抑えること。

提案手法

• ODO はノーレグレットオンライン学習とダブルオラクルフレームワークを統合し、固定のベストリスポンスオラクルではなく、レグレットを最小化する戦略を使用する。
• 各イテレーションで、戦略プールを用いて $\epsilon$-ベストリスポンスを計算し、それをプレイヤーのアクティブ戦略集合に追加する。
• レグレットバウンドはオンライン学習の解析により導出され、全純戦略数 $n$ ではなくナッシュ均衡のサポートサイズ $k$ に比例する。
• ODO は段階的に拡大する動的戦略プールを採用しており、弱い仮定のもとでナッシュ均衡への収束を保証する。
• 全ゲーム行列へのアクセスを避けており、部分ゲームにおけるベストリスポンスのオラクルクエリに依存する。
• 自己対戦および相手利用設定の両方をサポートし、性能は不適切性と平均報酬という指標で評価される。

実験結果

リサーチクエスチョン

• RQ1 ダブルオラクル風のアルゴリズムは、大規模アクション空間を持つゼロサムゲームにおいてノーレグレット学習を達成できるか？
• RQ2 ODO のレグレットバウンドは、全アクション空間ではなくナッシュ均衡のサポートサイズに比例するか？
• RQ3 ODO は、MWU や DO といった標準的なノーレグレットアルゴリズムよりも、戦略的相手に対して収束速度と報酬の両面で優れるか？
• RQ4 ポーカーの変種のような複雑な戦略構造を有する実世界のゲームにおいて、ODO はどのように性能を発揮するか？
• RQ5 従来の保守的な DO や PSRO とは異なり、ODO は無理なあるいは制限された相手を積極的に利用できるか？

主な発見

• ODO は $\mathcal{O}(\sqrt{Tk\log(k)})$ のレグレットバウンドを達成する。ここで $k$ はナッシュ均衡のサポートサイズであり、全純戦略数ではない。
• 15の実世界のゼロサムゲームにおいて、ODO は MWU や FP や DO や PSRO よりも著しく速くナッシュ均衡に収束する。
• MWU の相手に対しては、ODO は MWU や PSRO よりも高い平均報酬を達成し、積極的な戦略的利用能力を示している。
• Leduc ポーカーや Kuhn ポーカーにおいて、ODO はすべての DO や PSRO のベースラインよりも低い不適切性を達成し、CFR にほぼ並ぶ性能を発揮するが、ベストリスポンスオラクル呼び出し回数は少ない。
• 制限された相手の設定では、ODO は速やかに正の期待報酬を達成するが、PSRO はほぼ一定のままにとどまるため、その戦略的利用の優位性が確認された。
• ODO のベストリスポンスオラクル呼び出し回数は、PSRO よりも著しく少なく、CFR や最先端のソルバーと同等の水準であり、収束性能はさらに優れている。