[論文レビュー] Model-Based Opponent Modeling

Xiaopeng Yu, Jiechuan Jiang+3 more|arXiv (Cornell University)|Aug 4, 2021

Reinforcement Learning in Robotics参考文献 38被引用数 9

ひとこと要約

本稿では、環境モデルを用いて相手の方策改善を再帰的にシミュレートし、ベイズ混合によってこれら想像上の方策を統合することで、多様な相手に適応するモデルベースの相手モデリング（MBOM）を提案する。MBOMは、固定、学習、推論を行う相手を含む競争的タスクにおいて、強力なベースラインを上回り、非定常なマルチエージェント環境における優れた適応性を示している。

ABSTRACT

When one agent interacts with a multi-agent environment, it is challenging to deal with various opponents unseen before. Modeling the behaviors, goals, or beliefs of opponents could help the agent adjust its policy to adapt to different opponents. In addition, it is also important to consider opponents who are learning simultaneously or capable of reasoning. However, existing work usually tackles only one of the aforementioned types of opponents. In this paper, we propose model-based opponent modeling (MBOM), which employs the environment model to adapt to all kinds of opponents. MBOM simulates the recursive reasoning process in the environment model and imagines a set of improving opponent policies. To effectively and accurately represent the opponent policy, MBOM further mixes the imagined opponent policies according to the similarity with the real behaviors of opponents. Empirically, we show that MBOM achieves more effective adaptation than existing methods in a variety of tasks, respectively with different types of opponents, i.e., fixed policy, naïve learner, and reasoning learner.

研究の動機と目的

• 非定常なマルチエージェント環境において、相手の方策が固定、学習、あるいは推論的である可能性がある状況で、多様で未知の相手に適応する課題に対処すること。
• 相手の学習アルゴリズムや行動に関する事前知識を仮定せずに、相手方策の改善をモデル化する統一されたフレームワークを構築すること。
• 再帰的推論のシミュレーションと相手方策推定の精緻化を通じて、競争的および協調的マルチエージェント設定における効果的な適応を可能にすること。

提案手法

• MBOMは環境モデルを用いて相互作用をシミュレートし、再帰的想像を通じて、相手の推論レベルが向上するにつれて高まる想像上の相手方策（IOPs）の階層を生成する。
• 各想像上の相手方策は、エージェントの方策に対する最良応答をシミュレートすることで生成され、その後、これらのシミュレートされた軌道を用いて相手モデルをファインチューニングする。
• 本手法は、実際の相手行動との類似度に基づいて重み付けを行うベイズ混合を採用し、方策推定の正確性を向上させる。
• エージェントの方策は、重み付けされたIOPの混合に条件付けられ、未知の相手タイプに動的に適応可能となる。
• 複数の相手に対してもスケーラブルに適用可能であり、相手を統合された相手として扱うことで、単一相手モデリングと整合性を保つ。
• MBOMはエンドツーエンドで学習可能であり、アーキテクチャの変更なしに、競争的および協調的タスクに応用可能である。

実験結果

リサーチクエスチョン

• RQ1 学習ルールに関する事前仮定なしに、多様な相手（学習・推論的エージェントを含む）の政策改善をモデルベースアプローチで効果的にシミュレート・表現できるか？
• RQ2 相手方策の再帰的想像は、非定常なマルチエージェント環境におけるエージェントの適応能力をどのように向上させるか？
• RQ3 均一混合や単一レベル混合と比較して、想像上の相手方策のベイズ混合は推定精度をどの程度向上させるか？
• RQ4 MBOMは協調的マルチエージェントタスクに一般化可能か？また、このような設定において既存手法と比較してどのように差をつけるか？
• RQ5 特に相手が同時に学習または推論している場合に、MBOMは行動の変化に対してどの程度頑健か？

主な発見

• MBOMは、特にPredator-Prey環境において推論的学習者を含む競争的タスクで、Meta-PG、Meta-MAPG、LOLA-DiCEといった強力なベースラインを顕著に上回る。
• アブレーションスタディの結果、再帰的想像とベイズ混合の両方が不可欠であることが確認された：MBOM-ϕ₁とMBOM-ϕ₂はMBOM-ϕ₀を上回り、ベイズ混合は均一混合を常に上回る。
• コインゲームの協調的タスクでは、MBOMはPPOをわずかに上回り、性能の低下を伴わずに協調的設定にも効果的に適用可能であることが示された。
• 協調的状況においても、MBOMはMeta-PGやMeta-MAPGを上回る性能を発揮した。これは、訓練データの不足によりこれらの手法がグリーディ方策に劣化するのを防ぐのに有効であったためである。
• Predator-Prey環境におけるタッチ回数の減少から、MBOMが学習型相手に効果的に適応できることを実証した。一方、LOLA-DiCE や Meta-PG は方策の変化に対して性能を維持できなかった。
• 実験的結果から、MBOMが固定相手、単純な学習者、推論的学習者という多様な相手タイプに一般化できることを示した。相手行動や学習アルゴリズムに関する事前知識は一切不要であった。