[論文レビュー] Multi-agent Inverse Reinforcement Learning for Zero-sum Games.

Xiaomin Lin, Peter A. Beling+1 more|arXiv (Cornell University)|Mar 25, 2014

Reinforcement Learning in Robotics参考文献 18被引用数 11

ひとこと要約

本稿は、2人零和確率的ゲームにおけるベイジアン多エージェント逆強化学習（MIRL）フレームワークを提案する。MDPに基づく最適性の概念に代わり、ナッシュ均衡の概念を採用している。ミニマックス二政策仮定の下で生成モデルを用い、ベイジアン最適化を用いてエージェント報酬を推定する。報酬事前分布の共分散構造が学習品質に与える影響が、平均値よりも顕著であることが示された。

ABSTRACT

In this paper we introduce a Bayesian framework for solving a class of problems termed Multi-agent Inverse Reinforcement Learning (MIRL). Compared to the well-known Inverse Reinforcement Learning (IRL) problem, MIRL is formalized in the context of a stochastic game rather than a Markov decision process (MDP). Games bring two primary challenges: First, the concept of optimality, central to MDPs, loses its meaning and must be replaced with a more general solution concept, such as the Nash equilibrium. Second, the non-uniqueness of equilibria means that in MIRL, in addition to multiple reasonable solutions for a given inversion model, there may be multiple inversion models that are all equally sensible approaches to solving the problem. We establish a theoretical foundation for competitive two-agent MIRL problems and propose a Bayesian optimization algorithm to solve the problem. We focus on the case of two-person zero-sum stochastic games, developing a generative model for the likelihood of unknown rewards of agents given observed game play assuming that the two agents follow a minimax bipolicy. As a numerical illustration, we apply our method in the context of an abstract soccer game. For the soccer game, we investigate relationships between the extent of prior information and the quality of learned rewards. Results suggest that covariance structure is more important than mean value in reward priors.

研究の動機と目的

• 戦略的相互作用のため最適性が定義されないマルチエージェント環境において、従来の逆強化学習（IRL）の限界を克服すること。
• 確率的ゲームの文脈においてMIRLを形式化し、MDPに基づく最適性をナッシュ均衡という解概念に置き換えること。
• マルチエージェント報酬推定における、非一意な均衡と非一意な逆問題モデルという二重の課題に取り組むこと。
• 零和設定における観察されたゲームプレイから未知のエージェント報酬を推定するためのベイジアン最適化アルゴリズムを開発すること。
• 特に事前共分散構造に注目し、事前情報が学習済み報酬の正確さに与える影響を調査すること。

提案手法

• 2人零和確率的ゲームの文脈でMIRL問題を形式化し、下位フレームワークとしてMDPの代わりに確率的ゲームを採用する。
• 行動モデルとしてミニマックス二政策を採用し、エージェントがナッシュ均衡下で互いに最適にプレーすると仮定する。
• 観察されたゲーム軌道が与えられたもとで、報酬の尤度を推定する生成モデルを構築する。この際、ミニマックス合理性を仮定する。
• 事前知識を表現するため、平均値と共分散構造を併用した報酬に対する事前分布を定義する。
• 報酬の事後分布を推定するためにベイジアン最適化を適用し、推定プロセスにおける探索と活用のバランスを図る。
• 抽象的サッカー・ゲームにおける数値実験を通じて、さまざまな事前仮定下での手法の性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 従来のMDPに基づく最適性が適用できない競争的マルチエージェント環境において、逆強化学習をどのように拡張できるか？
• RQ2 特に事前共分散に注目した場合、報酬構造に関する事前知識がMIRLにおける推定報酬の正確さにどの程度影響を与えるか？
• RQ3 複数の均衡や複数の逆問題モデルが、零和ゲームにおける報酬推定の同定可能性と耐性に与える影響は何か？
• RQ4 ベイジアンフレームワークは、マルチエージェント逆強化学習における解の非一意性を効果的に扱えるか？
• RQ5 事前平均と事前共分散のどちらが、学習済み報酬の品質を決定づける上で相対的により重要な寄与をしているか？

主な発見

• 提案されたベイジアンMIRLフレームワークは、MDPに基づく最適性をナッシュ均衡の概念に置き換えることで、零和確率的ゲームの複雑さを効果的に扱うことに成功した。
• この手法は、報酬事前分布の共分散構造が、事前平均よりも学習品質に顕著な影響を与えることを示した。
• 抽象的サッカー・ゲームの実験では、情報豊富な共分散構造を持つモデルが、限られた観察データでもより正確な報酬回復を達成した。
• 均衡の非一意性と逆問題モデルの非一意性は、根幹的な課題として認識されているが、ベイジアンフレームワークはこうした状況における不確実性を整合的に扱う手段を提供する。
• ミニマックス二政策仮定に基づく生成モデルは、信頼性の高い尤度推定を可能にし、事後分布推定の堅実な基盤を形成する。
• ベイジアン最適化により報酬空間の効率的探索が実現され、報酬推定における収束性と耐性が向上した。