[論文レビュー] Intent-aware Multi-agent Reinforcement Learning

Siyuan Qi, Song‐Chun Zhu|arXiv (Cornell University)|Mar 6, 2018

Reinforcement Learning in Robotics参考文献 40被引用数 3

ひとこと要約

本稿では、他のエージェントの意図と内的価値をモデル化することで、目的空間で計画を行う意図に配慮したマルチエージェント強化学習フレームワークを提案する。この手法は線形関数近似を用いて効率的かつ収束性のある学習を実現し、現実世界への適用可能性を示す動的でエピソードではないマルチエージェント環境において、人間らしい協調行動と優れた性能を発揮する。

ABSTRACT

This paper proposes an intent-aware multi-agent planning framework as well as a learning algorithm. Under this framework, an agent plans in the goal space to maximize the expected utility. The planning process takes the belief of other agents' intents into consideration. Instead of formulating the learning problem as a partially observable Markov decision process (POMDP), we propose a simple but effective linear function approximation of the utility function. It is based on the observation that for humans, other people's intents will pose an influence on our utility for a goal. The proposed framework has several major advantages: i) it is computationally feasible and guaranteed to converge. ii) It can easily integrate existing intent prediction and low-level planning algorithms. iii) It does not suffer from sparse feedbacks in the action space. We experiment our algorithm in a real-world problem that is non-episodic, and the number of agents and goals can vary over time. Our algorithm is trained in a scene in which aerial robots and humans interact, and tested in a novel scene with a different environment. Experimental results show that our algorithm achieves the best performance and human-like behaviors emerge during the dynamic process.

研究の動機と目的

• 計算的に実行可能で収束性のあるマルチエージェント強化学習フレームワークを構築し、意思決定の向上を図ること。
• 高レベルの計画から意図予測を分離することで、既存のアルゴリズムとの統合を可能にし、POMDPの複雑さを回避すること。
• 動的で非定常な環境において、協調や競争といった人間らしい社会的行動の出現を可能にすること。
• フィードバックが疎らな状況に強く、エージェント数や目的数の変動に適応可能な学習手法を設計すること。

提案手法

• フレームワークは、他のエージェントの意図と内的価値に関する信念に基づき、目的の期待効用を推定することで、目的空間で計画を行う。
• 効用関数の線形関数近似を採用し、U(g, b) = θᵀφ(g, b) として定式化する。ここで φ は目的と信念表現を組み合わせた特徴ベクトルである。
• 学習アルゴリズムは、建物へのエージェントの捕獲による疎な報酬に基づき、Sarsa と ϵ-greedy 探索を用いてパrameter ベクトル θ を更新する。
• 意図に関する信念は、観察された行動に基づき更新され、ベイズ的手法、最尤推定、または通信を介して計算可能である。
• 低レベルの計画、意図予測、高レベルの推論を分離することで、既存のアルゴリズムのモジュラー統合を可能にする。
• 信念更新とポリシー学習を分離することで、POMDPの計算的に非実行可能な問題を回避する。

実験結果

リサーチクエスチョン

• RQ1 マルチエージェント強化学習を、意図推論を組み込みつつ計算的に実行可能にする方法は何か？
• RQ2 意図に配慮した計画は、動的環境において人間らしい協調的・競争的行動の出現をもたらすか？
• RQ3 既存の意図予測および低レベル計画アルゴリズムを、統合的学習フレームワークに効果的に統合できるか？
• RQ4 目的空間での計画は、行動空間におけるフィードバックの疎らさの問題を緩和できるか？
• RQ5 訓練されたポリシーは、エージェント数や目的数が異なる新しい環境に一般化できるか？

主な発見

• 提案手法は、3体のロボットエージェントが5つの建物を監視する状況で60%の捕獲率を達成し、RNN-POMDP（20%）やグリーディ／ランダム方策といったベースラインを著しく上回った。
• アルゴリズムは300回の学習反復後にグローバル最適解に収束し、安定的かつ効率的な学習が実現した。
• エージェントは監視されていない建物を監視し、互いに異なる建物をカバーするように協調するよう学習し、自然に協調行動が出現した。
• ポリシーのパrameter θ が学習した価値の分布は、核心的なタスク価値を反映しており、同じ建物を複数で監視することはペナルティとして扱われた。
• 新しい環境に成功裏に転送され、明示的な新レイアウトの知識がなくても最良のパフォーマンスを達成した。
• 捕獲に成功した場合にのみ報酬を与える報酬形状化は、チーム全体の報酬よりも協調性が向上し、人間のチームダイナミクスを模倣した。