[論文レビュー] Complexity and Algorithms for Exploiting Quantal Opponents in Large Two-Player Games

David Milec, Jakub Černý+2 more|arXiv (Cornell University)|Sep 30, 2020

Game Theory and Applications参考文献 29被引用数 4

ひとこと要約

本稿では、大規模な2人ゲームにおける制限付き合理応答（QR）相手に対して、ナッシュ均衡（NE）および量的ナッシュ均衡（QNE）を上回る戦略を計算するスケーラブルなCFRベースのアルゴリズム、RQR（制限付き量的応答）を提案する。この手法は、QR相手および合理的な相手に対して、悪用可能性と期待効用の両方を向上させ、通常形式および展開形式のゲーム、特に大規模なポーカー変種およびゴーフィル7において優れた性能を示す。

ABSTRACT

Solution concepts of traditional game theory assume entirely rational players; therefore, their ability to exploit subrational opponents is limited. One type of subrationality that describes human behavior well is the quantal response. While there exist algorithms for computing solutions against quantal opponents, they either do not scale or may provide strategies that are even worse than the entirely-rational Nash strategies. This paper aims to analyze and propose scalable algorithms for computing effective and robust strategies against a quantal opponent in normal-form and extensive-form games. Our contributions are: (1) we define two different solution concepts related to exploiting quantal opponents and analyze their properties; (2) we prove that computing these solutions is computationally hard; (3) therefore, we evaluate several heuristic approximations based on scalable counterfactual regret minimization (CFR); and (4) we identify a CFR variant that exploits the bounded opponents better than the previously used variants while being less exploitable by the worst-case perfectly-rational opponent.

研究の動機と目的

• 大規模な2人ゲームにおける制限付き合理（量的応答）相手に対する効果的な戦略を計算する課題に対処すること。
• 計算が困難な量的スタックルベルク均衡（QSE）の代替として、高い効用と低い悪用可能性を維持するスケーラブルな代替法を特定すること。
• QR相手を効果的に悪用するためのレジストミニマイゼーションのヒューリスティクス、特にCFRの変種を評価および改善すること。
• QNEがQSEの悪い近似であり、悪用的状況では標準ナッシュ均衡でさえも下回る可能性があることを示すこと。
• 実用的でスケーラブルなアルゴリズムを構築し、相手の合理性の異なるレベルにおいて、両方の効用と耐性の面でベースラインを上回ることを検証すること。

提案手法

• 量的ナッシュ均衡（QNE）および量的スタックルベルク均衡（QSE）という2つの解概念を提案し、それらの理論的性質と計算の難易度を分析する。
• QNEの計算が通常形式ゲームではPPAD-hardであり、展開形式ゲームではQSEがNP-hardであることを証明する。これはゼロサム設定でさえも同様である。
• CFRに、相手の応答を制限することで量的応答行動により適切に一致させる、新しい変種であるRQRを採用する。
• CFRにおける制限付き応答メカニズムを用いてスタックルベルクコミットを模倣し、耐性を損なわずに悪用可能性を向上させる。
• CFR-fに基づくヒューリスティックな近似を採用し、多様なゲームクラスにおいて期待効用と悪用可能性のメトリクスを用いて性能を評価する。
• 相手の制限付き合理性の度合いをモデル化するための合理性パラメータλを用い、さまざまなλ値における戦略の性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 スケーラブルなレジストミニマイゼーションアルゴリズムは、大規模な2人ゲームにおける量的応答相手を効果的に悪用できるか？
• RQ2 QNEの性能は、QSEおよびナッシュ均衡と比較して、効用と悪用可能性の観点でどの程度か？
• RQ3 QNEを上回る悪用可能性と期待効用を達成するCFRベースのヒューリスティクスは存在するか？
• RQ4 本手法は制限付き合理性を想定して設計されているが、相手が完全に合理的である場合でも耐性を保てるか？
• RQ5 RQRアルゴリズムは、ゴーフィル7やレッド・ホールデムなどの大規模ゲームでどの程度スケーリングされ、性能を発揮するか？

主な発見

• CLQR相手に対してレッド・ホールデムでRQRは2.412の利得を達成し、QNE（2.357）およびCFR（1.191）を上回り、悪用可能性も3.849（QNEは4.045）と低い。
• ゴーフィル7では、RQRは利得2.412、悪用可能性3.849を達成し、CFR-QR（利得2.357、悪用可能性4.045）およびCFR（利得1.191、悪用可能性0.115）を著しく上回る。
• λの値が変化するさまざまな合理性パラメータにおいて、RQRは期待効用および悪用可能性の両面でQNEを常に上回る。これはλが高く（相手がほぼ合理的な状態）であっても同様に成り立つ。
• GAおよびCOMBは、ゴーフィル7のような大規模なゲームではメモリおよび計算上の制約により実行不可能であるが、RQRは1000イテレーションで効果的にスケーリングされる。
• RQRはQNEよりも悪用されにくく、テストされたすべてのゲームおよび合理性レベルでNEおよびQNEを上回る性能を示す。
• 本研究は、QNEがQSEの悪い代理であることを確認し、悪用的状況では標準ナッシュ戦略よりも劣る性能を示す可能性があることを示している。