[論文レビュー] Non-cooperative Multi-agent Systems with Exploring Agents

Jalal Etesami, Christoph-Nikolas Straehle|arXiv (Cornell University)|May 25, 2020

Reinforcement Learning in Robotics参考文献 59被引用数 4

ひとこと要約

本稿では、マルコフゲームにおける近似的最適行動の探索に、ボルツマン＝ギブズ分布に基づく戦略を用いる非協力的マルチエージェント強化学習フレームワークを提案する。弱い条件下でも連立ベルマン方程式に一意な解が存在することを確立し、有限および無限時間枠組みの両方において収束性が保証されたアルゴリズムを導入。また、最大因果エントロピー原理と接続することで、共同の目的および方策の推論を可能にする。

ABSTRACT

Multi-agent learning is a challenging problem in machine learning that has applications in different domains such as distributed control, robotics, and economics. We develop a prescriptive model of multi-agent behavior using Markov games. Since in many multi-agent systems, agents do not necessary select their optimum strategies against other agents (e.g., multi-pedestrian interaction), we focus on models in which the agents play "exploration but near optimum strategies". We model such policies using the Boltzmann-Gibbs distribution. This leads to a set of coupled Bellman equations that describes the behavior of the agents. We introduce a set of conditions under which the set of equations admit a unique solution and propose two algorithms that provably provide the solution in finite and infinite time horizon scenarios. We also study a practical setting in which the interactions can be described using the occupancy measures and propose a simplified Markov game with less complexity. Furthermore, we establish the connection between the Markov games with exploration strategies and the principle of maximum causal entropy for multi-agent systems. Finally, we evaluate the performance of our algorithms via several well-known games from the literature and some games that are designed based on real world applications.

研究の動機と目的

• 協力的でない、通信のない環境におけるエージェントが、完全に最適でないが近似的に最適な戦略を探索できるようにモデル化すること。
• 相互の認識と確率的戦略選択を捉えるマルコフゲームに基づくゲーム理論的フレームワークを構築すること。
• 得られる連立ベルマン方程式が一意な解を有する条件を確立し、モデルの安定性を保証すること。
• 有限および無限時間枠組みの両方における収束性が保証されたアルゴリズムを設計すること。
• 最大因果エントロピー原理と接続することで、エージェントの目的と方策の共同推論を可能にすること。

提案手法

• 行動確率がQ値と温度パラメータに依存するボルツマン＝ギブズ分布を用いてエージェント戦略をモデル化する。
• エージェント間の相互依存性を反映するように、Q値と方策を同時に決定する連立ベルマン方程式の体系を導出する。
• 連立方程式の解が一意に定まることを保証する十分条件（例えば、収縮写像の性質）を導入する。
• 有限時間枠組み用と無限時間枠組み用の2つのアルゴリズムを提案し、両者とも一意解に収束することが証明されている。
• 実用的状況での計算複雑度を低減するために、占有度測度を用いた簡略化された前向き・後ろ向きアルゴリズムを導入する。
• 提案モデルと最大因果エントロピー原理との間の明確な理論的接続を確立し、観察された行動からエージェントの目的と戦略を共同で推論可能にする。

実験結果

リサーチクエスチョン

• RQ1 マルチエージェント探索のための連立ベルマン方程式が、どのような条件下で一意な解を有するか。
• RQ2 協力的でなく通信のない環境におけるエージェントが、相互の認識を反映しつつ、近似的に最適でかつ一貫性のある探索戦略を選択する方法は何か。
• RQ3 提案されたアルゴリズムは、有限および無限時間枠組みの両方において解に収束することを保証できるか。
• RQ4 占有度測度を活用することで、マルコフゲームを解く際の計算複雑度をどのように低減できるか。
• RQ5 提案モデルとマルチエージェントシステムにおける最大因果エントロピー原理との理論的関係は何か。

主な発見

• 収縮写像の性質を含む弱い条件下でも、連立ベルマン方程式は一意な解を有する。
• 提案された有限時間枠組みアルゴリズムは、収縮写像の原理により有限時間内で一意解に収束することが保証される。
• 無限時間枠組みアルゴリズムも、適切な仮定の下で固定点反復を用いて収束が証明され、一意解に収束する。
• 占有度測度に基づく前向き・後ろ向きアルゴリズムは、一般のマルコフゲーム定式化と比較して複雑度を低減し、スケーラブルな推論を可能にする。
• モデルは正式に最大因果エントロピー原理と接続されており、エージェントが観察された行動から互いの目的と戦略を共同で推論できる。
• ベンチマークおよび実世界を模倣したゲームにおける実験的評価により、競合的状況下でも安定的で、近似的に最適かつ衝突回避可能な行動を生成できることを確認した。