[論文レビュー] Safe and Nested Subgame Solving for Imperfect-Information Games

Noam Brown, Tüomas Sandholm|arXiv (Cornell University)|May 8, 2017

Artificial Intelligence in Games参考文献 26被引用数 60

ひとこと要約

本論文は、不完全情報ゲームにおける安全なサブゲーム解法、リーチ解法、ネストしたサブゲーム解法の手法を導入し、従来手法よりエクスプロイト可能性を改善し、大規模ゲーム戦略のリアルタイムな洗練を可能にし、特に Libratus のポーカーでの成功に寄与した。

ABSTRACT

In imperfect-information games, the optimal strategy in a subgame may depend on the strategy in other, unreached subgames. Thus a subgame cannot be solved in isolation and must instead consider the strategy for the entire game as a whole, unlike perfect-information games. Nevertheless, it is possible to first approximate a solution for the whole game and then improve it by solving individual subgames. This is referred to as subgame solving. We introduce subgame-solving techniques that outperform prior methods both in theory and practice. We also show how to adapt them, and past subgame-solving techniques, to respond to opponent actions that are outside the original action abstraction; this significantly outperforms the prior state-of-the-art approach, action translation. Finally, we show that subgame solving can be repeated as the game progresses down the game tree, leading to far lower exploitability. These techniques were a key component of Libratus, the first AI to defeat top humans in heads-up no-limit Texas hold'em poker.

研究の動機と目的

• 不完全情報ゲームにおけるサブゲームは孤立して解くことができない理由と、 ブループリント戦略をどう改善するかを説明する。
• 安全なサブゲーム解法フレームワーク（Resolve、Maxmargin）を示し、エクスプロイト可能性に関する理論的保証を提供する。
• サブゲーム間の影響とギフトベースの価値配分を考慮する Reach サブゲーム解法を導入する。
• 大規模で抽象化されたゲームにおける多層の洗練のためにネスト済みサブゲーム解法へ拡張する。

提案手法

• 不完全情報サブゲームを定義し、サブゲームがゲームの他の部分にどれだけ影響を与えうるかを測る指標としてギフトの概念を導入する。
• 安全でないサブゲーム解法とその理論的保証の欠如を説明する。
• 安全なサブゲーム解法手法としてResolving、Maxmargin、及びそれらの Reach 変種を、正式なエクスプロイト可能性保証（定理1）とともに提示する。
• 複数のサブゲームにギフト補正マージンを配分し、全体の安全性を確保する Reach サブゲーム解法を導入する。
• 抽象化からの反事実値（CBV）の推定を取り入れ、実務的なエクスプロイト可能性の境界を引き締める（定理2）を示す。
• 多層の抽象化とオフツリー行動を扱うネストされたサブゲーム解法について議論する。）

実験結果

リサーチクエスチョン

• RQ1 不完全情報ゲームにおいて、エクスプロイト可能性がブループリントを超えないことを保証しつつ、安全にサブゲーム解法を適用するにはどうすればよいか？
• RQ2 複数のサブゲーム間の相互作用を考慮し、現在の抽象化の外での行動に適応するよう、サブゲーム解法をどう拡張できるか？
• RQ3 Reach および Nested Subgame Solving の理論的保証と実用的な利点は従来のアプローチと比べて何か？

主な発見

• 安全なサブゲーム解法手法（Resolving、Maxmargin、および Reach 変種）は、特定の条件の下でブループリント以下のエクスプロイト可能性を保証する（定理1）。
• Reach サブゲーム解法は他のサブゲームからのギフトを組み込むことでロバスト性を高め、単独でサブゲームを解くよりエクスプロイト可能性をより効果的に低減する。
• 抽象化からの反事実値の推定はエクスプロイト可能性の境界を引き締め、実務上の性能を向上させる（定理2）。
• ネストされたサブゲーム解法はゲームが進むにつれて反復的な洗練を可能にし、大規模な不完全情報ゲーム内でより細かい戦略更新を可能にする。
• 本手法は、ヘッズアップ・ノーリミット・テキサスホールデムでトップ人間を打ち負かした最初のAIである Libratus の重要な役割を果たした。
• Reach アプローチは、安全性を維持しつつ性能を向上させるために、複数のサブゲームに価値調整を原理的に配分する方法を提供する。