[論文レビュー] A game-theoretic model and best-response learning method for ad hoc coordination in multiagent systems

Stefano V. Albrecht, Subramanian Ramamoorthy|arXiv (Cornell University)|May 6, 2013

Reinforcement Learning in Robotics参考文献 6被引用数 69

ひとこと要約

本稿では、ユーザー定義のタイプを用いてエージェント行動を表現する確率的ベイジアンゲームとしてマルチエージェントのアドホック協調をモデル化するゲーム理論的フレームワーク、Harsanyi-Bellman Ad Hoc Coordination (HBA) を提案する。HBA は、シミュレーテッド・フォーリングおよび人間-機械実験の両方で優れた性能を発揮し、最小限のタイプ定義で代替手法を上回る福利厚生および勝率を達成する。

ABSTRACT

The ad hoc coordination problem is to design an ad hoc agent which is able to achieve optimal flexibility and efficiency in a multiagent system that admits no prior coordination between the ad hoc agent and the other agents. We conceptualise this problem formally as a stochastic Bayesian game in which the behaviour of a player is determined by its type. Based on this model, we derive a solution, called Harsanyi-Bellman Ad Hoc Coordination (HBA), which utilises a set of user-defined types to characterise players based on their observed behaviours. We evaluate HBA in the level-based foraging domain, showing that it outperforms several alternative algorithms using just a few user-defined types. We also report on a human-machine experiment in which the humans played Prisoner's Dilemma and Rock-Paper-Scissors against HBA and alternative algorithms. The results show that HBA achieved equal efficiency but a significantly higher welfare and winning rate.

研究の動機と目的

• 事前に協調が不可能なマルチエージェントシステムにおけるアドホック協調問題に対処すること。
• 観察された行動に基づいてタイプを用いた確率的ベイジアンゲームモデルとしてエージェント行動を形式化すること。
• 多様で協調されていないエージェントに適応できるスケーラブルな学習手法を設計すること。
• HBA を合成環境および人間を含むフィードバックループ実験において評価し、耐障害性と性能を検証すること。
• 少数のユーザー定義タイプによって、複雑な状況下でも高い協調効率と福利厚生を達成できることを示すこと。

提案手法

• エージェントのタイプが行動戦略を表す確率的ベイジアンゲームとして、アドホック協調問題をモデル化する。
• 他のエージェントの観察された行動を特徴付けるために、ユーザーが指定したタイプの集合を定義し、タイプ推定を可能にする。
• Harsanyi-信念更新を適用して、観察に基づき各エージェントタイプの事後確率を推定する。
• 推定されたタイプを前提に期待効用を最大化する行動を選択するベストレスポンス学習メカニズムを用いる。
• 信念を継続的に更新し、リアルタイムで戦略を適応させる意思決定ループに HBA を統合する。
• 他のエージェントのタイプに関する不確実性下で最適な行動列を計算するために、ベルマン最適性方程式を活用する。

実験結果

リサーチクエスチョン

• RQ1 最小限のユーザー定義タイプで、アドホック協調における多様なエージェント行動を効果的にモデル化できるか？
• RQ2 構造的でマルチエージェント環境において、HBA は既存のアルゴリズムと比較して協調効率性と福利厚生の点で優れているか？
• RQ3 HBA は、事前の協調や他のエージェントの知識なしに、どれほど高い性能を発揮できるか？
• RQ4 戦略的ゲーム（例：ジレンマのジレンマ、グーチョキパー）を含む人間を含むフィードバックループ環境において、HBA はどのように性能を発揮するか？
• RQ5 HBA は、行動の多様性や不確実性のレベルが変化する状況でも、強固な性能を維持できるか？

主な発見

• レベルベースのフォーリングドメインにおいて、HBA は少数のユーザー定義タイプのみで、複数の代替アルゴリズムを上回った。
• 人間-機械実験では、HBA はベースラインアルゴリズムと同等の効率性を達成したが、福利厚生および勝率において顕著に優れていた。
• ジレンマのジレンマおよびグーチョキパーの両環境において、HBA は強固な性能を発揮し、戦略的かつ非協力的状況への適応性を示した。
• 少数のユーザー定義タイプの使用により、他のエージェントの行動の推定と最適な応答選択が効果的に行えるようになった。
• 事前の協調がなくても、HBA は高い協調品質を達成でき、実世界のマルチエージェントシステムに適していることを確認した。
• 多様な行動タイプにわたり、HBA は強固な性能を維持したため、スケーラビリティと一般化能力が裏付けられた。