[論文レビュー] Generating and Adapting to Diverse Ad-Hoc Cooperation Agents in Hanabi

Rodrigo Canaan, Xianbo Gao+3 more|arXiv (Cornell University)|Apr 28, 2020

Artificial Intelligence in Games参考文献 27被引用数 9

ひとこと要約

本論文では、MAP-Elitesを用いて生成された行動的に多様なルールベースエージェントを活用し、協力的相手のポリシーに関する仮説の信念分布を維持することで、未知で多様な協力的相手に適応するベイジアンメタエージェントを提案する。適応型エージェントは、観察された行動に基づくベイジアン推論により動的に応答ポリシーを選択することで、短い10ゲームのエピソード内に、分布内では非適応型の汎用ベースラインを上回るスコアを達成する。

ABSTRACT

Hanabi is a cooperative game that brings the problem of modeling other players to the forefront. In this game, coordinated groups of players can leverage pre-established conventions to great effect, but playing in an ad-hoc setting requires agents to adapt to its partner's strategies with no previous coordination. Evaluating an agent in this setting requires a diverse population of potential partners, but so far, the behavioral diversity of agents has not been considered in a systematic way. This paper proposes Quality Diversity algorithms as a promising class of algorithms to generate diverse populations for this purpose, and generates a population of diverse Hanabi agents using MAP-Elites. We also postulate that agents can benefit from a diverse population during training and implement a simple "meta-strategy" for adapting to an agent's perceived behavioral niche. We show this meta-strategy can work better than generalist strategies even outside the population it was trained with if its partner's behavioral niche can be correctly inferred, but in practice a partner's behavior depends and interferes with the meta-agent's own behavior, suggesting an avenue for future research in characterizing another agent's behavior during gameplay.

研究の動機と目的

• 未知で非協調的な相手と効果的に連携できる適応型エージェントを、協力的ハナビプレイに開発すること。
• 人間のプレイに適合する短時間の相互作用ウィンドウ内でリアルタイムでの適応を可能にすること。
• 事前に訓練された多様なルールベースポリシーの信念分布を用いて、相手の行動をモデル化すること。
• 分布内および分布外の設定において、適応性能を評価すること。
• 効果的なアドホック協力のためのメタ推論を可能にする行動の多様性の役割を調査すること。

提案手法

• メタエージェントは、MAP-Elitesを用いて生成された行動的に多様なルールベースエージェントのプールを用い、相手ポリシーの初期仮説を形成する。
• 応答ポリシーと相手仮説のマッチアップから、平均的コミュニケーション度（Communicativeness）とIPP（ポリシー間距離：Inter-Policy Proximity）という行動特徴を収集する。
• ベイジアン推論フレームワークにより、現在の相手がプール内の各仮説と一致する可能性の信念分布を維持する。
• メタエージェントは、現在の信念分布における期待報酬を最大化する応答ポリシーを選択して行動する。
• 10ゲームのエピソードを通じて、適応型と非適応型（汎用）戦略の性能を比較評価する。
• 信念更新のため、行動特徴が独立で正規分布に従うものと仮定する。

実験結果

リサーチクエスチョン

• RQ1 10ゲームという短い相互作用ウィンドウ内において、メタエージェントは未知で多様な協力的ハナビ相手に適応できるか？
• RQ2 分布内設定において、適応型メタエージェントの性能は非適応型汎用ベースラインと比べてどのように異なるか？
• RQ3 仮説プール内の行動の多様性が、メタエージェントの相手戦略の推論と応答能力に与える影響は何か？
• RQ4 訓練分布外の相手に対して評価した場合、メタエージェントの性能はどのようになるか？
• RQ5 行動特徴空間や信念モデルの精緻化によって、メタエージェントの適応メカニズムを改善できるか？

主な発見

• 分布内設定の3つのシナリオのうち2つで、適応型メタエージェントは汎用ベースラインを上回るスコアを達成し、10ゲームのエピソード内での有効な適応が示された。
• 訓練と評価の母集団が同一の場合、適応型エージェントは汎用ベースラインをわずかに上回った。これは、信念に基づくポリシー選択が成功したことを示している。
• 分布外の相手に対する性能は、明確でないか、わずかに悪い結果に留まり、訓練分布を超えた一般化能力に限界がある可能性を示唆している。
• 自己対戦スコアとペアワイズスコアの相関が、性能のばらつきを低下させ、適応の恩恵を検出しづらくする可能性があった。
• メタエージェントは平均的コミュニケーション度、IPP、マッチアップスコアの3つの行動特徴のみを用いて性能を維持した。
• 探索的実験では、2体の適応型エージェント間で相互適応が生じ、一般化型の応答に収束する傾向が見られた。これは安定性を示唆するが、動的な共同適応には限界があることを示している。