[論文レビュー] Towards Efficient Detection and Optimal Response against Sophisticated Opponents

Tianpei Yang, Zhaopeng Meng+4 more|arXiv (Cornell University)|Sep 12, 2018

Reinforcement Learning in Robotics参考文献 15被引用数 4

ひとこと要約

本稿では、ベイジアン方策再利用（BPR）と再帰的推論を組み合わせた、新たなベイジアン的心の理論（Bayes-ToMoP）フレームワークを提案する。このフレームワークは、2人対戦ゲームにおいて、定常的・非定常的・あるいは事前に未確認の戦略をとる高度な相手を検出・最適に応答できる。理論的最適性の保証を伴い、深層強化学習への拡張も自然に行える。

ABSTRACT

Multiagent algorithms often aim to accurately predict the behaviors of other agents and find a best response accordingly. Previous works usually assume an opponent uses a stationary strategy or randomly switches among several stationary ones. However, an opponent may exhibit more sophisticated behaviors by adopting more advanced reasoning strategies, e.g., using a Bayesian reasoning strategy. This paper proposes a novel approach called Bayes-ToMoP which can efficiently detect the strategy of opponents using either stationary or higher-level reasoning strategies. Bayes-ToMoP also supports the detection of previously unseen policies and learning a best-response policy accordingly. We provide a theoretical guarantee of the optimality on detecting the opponent's strategies. We also propose a deep version of Bayes-ToMoP by extending Bayes-ToMoP with DRL techniques. Experimental results show both Bayes-ToMoP and deep Bayes-ToMoP outperform the state-of-the-art approaches when faced with different types of opponents in two-agent competitive games.

研究の動機と目的

• 既存手法が相手が定常的またはランダムに切り替わる戦略しか想定しないという限界を解消し、より高度な推論に基づく相手に対して有効であることを目的とする。
• 競合マルチエージェント環境において、非定常的で高次の推論戦略（例：ベイジアン推論）を正確に検出することを目的とする。
• 事前に未確認の相手方策の検出を可能とし、事前知識なしにオンラインで最適な反応を学習することを目的とする。
• 提案されたフレームワーク下での戦略検出の最適性に関する理論的保証を提供することを目的とする。
• 大規模な状態空間・行動空間へのスケーラビリティを実現するため、深層強化学習設定への拡張を目的とする。

提案手法

• Bayes-ToMoPは、ベイジアン方策再利用（BPR）と心の理論（ToM）を統合し、相手戦略に関する再帰的信念をモデル化することで、既知および未知の戦略の両方の検出を可能にする。
• 観測信号（例：報酬）を用いた信念更新により、相手戦略上の確率分布を推定する。
• 高次の推論（例：相手が自エージェントの信念を推論していること）をモデル化するため、再帰的でネストされた信念を採用する。これにより、ToMに基づく戦略の検出が可能になる。
• 新規観測に応じて信念分布を更新することで、動的戦略検出を実現し、リアルタイムでの適応を可能にする。
• 深層バージョンであるdeep Bayes-ToMoPは、表形式の価値関数をニューラルネットワークに置き換えることで、大規模な環境へのスケーラビリティを実現する。
• 信念の不確実性に基づいて検出感度を適応させる信頼性メカニズムを含み、戦略切り替えに対するロバストネスを向上させる。

実験結果

リサーチクエスチョン

• RQ1 マルチエージェントシステムは、単純な定常的または切り替え戦略を超えて、ベイジアン推論などの高次の推論戦略をとる相手を検出し、最適に応答できるか？
• RQ2 相手が未確認の戦略を使用している場合に、事前知識なしにそれを検出し、最適な反応を学習できるか？
• RQ3 再帰的信念モデルに基づく戦略検出における最適性に、どのような理論的保証を提供できるか？
• RQ4 ToM推論とBPRの統合により、従来手法と比較して検出精度と反応品質がどのように向上するか？
• RQ5 このフレームワークは、大規模で連続的行動空間を持つ環境に、どの程度深層強化学習設定へ拡張可能か？

主な発見

• Bayes-ToMoPは、複数の2人対戦競合ゲームにおいて、表形式および深層学習環境の両方で、BPR+、Bayes-Pepper、DRON、deep BPR+など、最先端の手法を上回る性能を達成した。
• 泥棒と狩人（Thieves and Hunters）およびサッカー（Soccer）のゲームでは、ToMベースの戦略（OToMoP0およびOToMoP0-s）をとる相手に対して、平均勝率が競合他社を著しく上回った。
• Bayes-ToMoPは、未確認の戦略への切り替えを正常に検出し、200エピソード以内に最適な反応を学習した。一方、固定の戦略ライブラリに依存するBayes-Pepperは、完全に失敗した。
• 深層バージョンのdeep Bayes-ToMoPは、新しい戦略の学習においてdeep BPR+と同等またはそれを上回る性能を示し、大規模な状態空間へのスケーラビリティを実証した。
• DRONは、固定のエキスパート混合アーキテクチャを採用していたため、著しく性能が低く（平均報酬 ≈ 0.7）なった。
• 理論的分析により、仮定された信念モデル下でBayes-ToMoPが相手戦略の最適検出を提供することが確認され、最適応答への収束が保証された。