[論文レビュー] Comparison of Multi-agent and Single-agent Inverse Learning on a Simulated Soccer Example

Xiaomin Lin, Peter A. Beling+1 more|arXiv (Cornell University)|Mar 26, 2014

Reinforcement Learning in Robotics参考文献 14被引用数 5

ひとこと要約

この論文は、状態と行動に依存する報酬を扱えるように拡張したベイジアン IRL を用いて、シミュレーテッドサッカー環境における単一エージェント IRL とマルチエージェント IRL (MIRL) を比較している。結果として、MIRL は真の報酬を回復する能力と、より優れたフォワード方策を誘導する能力において、IRL を顕著に上回っている。主な要因は、IRL がマルチエージェント系に内在する均衡ダイナミクスを捉えられていないことにある。

ABSTRACT

We compare the performance of Inverse Reinforcement Learning (IRL) with the relative new model of Multi-agent Inverse Reinforcement Learning (MIRL). Before comparing the methods, we extend a published Bayesian IRL approach that is only applicable to the case where the reward is only state dependent to a general one capable of tackling the case where the reward depends on both state and action. Comparison between IRL and MIRL is made in the context of an abstract soccer game, using both a game model in which the reward depends only on state and one in which it depends on both state and action. Results suggest that the IRL approach performs much worse than the MIRL approach. We speculate that the underperformance of IRL is because it fails to capture equilibrium information in the manner possible in MIRL.

研究の動機と目的

• 状態遷移が連携行動に依存するマルチエージェント環境において、単一エージェント IRL が真の報酬を効果的に回復できるかどうかを評価すること。
• 報酬関数を状態のみでなく、状態と行動の両方に依存するように、ベイジアン IRL のアプローチを拡張すること。
• 2人零和確率ゲームにおける IRL と MIRL の性能を、真の報酬の回復と高品質なフォワード方策の誘導という観点から比較すること。
• MIRL が均衡行動をモデル化できる能力が、IRL の受動的環境仮定に比べて、報酬推定をどのように改善するかを調査すること。

提案手法

• 報酬関数を状態と行動の両方に依存する関数としてモデル化することで、単一エージェント IRL を状態と行動に依存する報酬を扱えるように拡張し、連携状態-行動分布の推論を可能にした。
• 定義された状態遷移、報酬、行動空間を備えたシミュレーテッドサッカー環境を想定し、2人零和確率ゲームのモデルを構築した。
• 観測された連携方策を活用し、ナッシュ均衡制約下で報酬行列と方策を同時に推論するベイジアンフレームワークを用いて MIRL を適用した。
• IRL と MIRL が回復した報酬から導かれるミニマックス方策の性能を測定することで、学習済み報酬の質をモンテカルロシミュレーションで評価した。
• 弱い、中央値、強い平均；強い共分散という複数の事前分布設定を用いて、報酬構造に関する異なる信念構造下での報酬回復のロバストネスを評価した。
• 視覚化による回復報酬と PSS（シュートのスコア確率）分布の比較、およびシミュレーテッドゲームにおける勝敗結果の定量的評価を通じて、IRL と MIRL の結果を比較した。

実験結果

リサーチクエスチョン

• RQ1 標準的な IRL は、他のエージェントが合理的かつ相互作用的であるマルチエージェント環境において、真の報酬を効果的に回復できるか？
• RQ2 IRL を状態と行動に依存する報酬を扱えるように拡張することで、マルチエージェント環境における性能が向上するか？
• RQ3 MIRL が均衡行動をモデル化できる能力が、IRL と比較して報酬回復の正確性にどのように影響するか？
• RQ4 IRL が回復した報酬は、MIRL が回復した報酬と比較して、どれほど劣ったフォワード方策を誘導するか？
• RQ5 MIRL は、報酬構造に関する異なる事前仮定の下でも一貫して IRL を上回る性能を示せるか？

主な発見

• すべての実験設定において、IRL は MIRL よりも真の報酬を回復する能力で著しく劣っており、IRL が学習した報酬は真の報酬分布から顕著に逸脱している。
• MIRL が回復した報酬は、弱い、中央値、強い平均のすべての設定で真の報酬と強い重なりを示しているのに対し、IRL の結果は常に真の値から大きく離れている。
• IRL が回復した PSS（シュートのスコア確率）は真の PSS と整合性が低く、一方で MIRL は真の値に近い PSS 分布を回復している。
• モンテカルロシミュレーションにおいて、両エージェントが MIRL が回復した報酬を使用した場合、β=0、0.6、1 のすべての条件下で B が 100% のゲームで勝利しており、方策の質の優位性が示された。
• A が IRL が回復した報酬を使用し、B が MIRL が回復した報酬を使用した場合、β=1 の条件下で B が 62.30% のゲームで勝利しており、MIRL が顕著な性能優位性を示した。
• 結果から、IRL は均衡情報を取り入れられていないのに対し、MIRL のゲーム理論的基盤が、より正確な報酬推定と優れた方策生成を可能にしていることが示唆された。