[論文レビュー] Influencing Towards Stable Multi-Agent Interactions

Woodrow Z. Wang, Andy Shih+2 more|arXiv (Cornell University)|Oct 5, 2021

Reinforcement Learning in Robotics参考文献 43被引用数 7

ひとこと要約

本論文では、学習された潜在動的モデルを通じて相手の戦略を能動的に影響させることで、マルチエージェント相互作用の安定化を図る手法を提案している。これにより、強化学習の効率的かつサンプル効率的な学習が可能になる。主な貢献は、エージェントが相手の戦略を安定化させることを促進する非教師付きの安定性報酬であり、自律走行やロボット操作などのシミュレーテッド環境において、タスクパフォーマンスの顕著な向上を実現している。

ABSTRACT

Learning in multi-agent environments is difficult due to the non-stationarity introduced by an opponent's or partner's changing behaviors. Instead of reactively adapting to the other agent's (opponent or partner) behavior, we propose an algorithm to proactively influence the other agent's strategy to stabilize -- which can restrain the non-stationarity caused by the other agent. We learn a low-dimensional latent representation of the other agent's strategy and the dynamics of how the latent strategy evolves with respect to our robot's behavior. With this learned dynamics model, we can define an unsupervised stability reward to train our robot to deliberately influence the other agent to stabilize towards a single strategy. We demonstrate the effectiveness of stabilizing in improving efficiency of maximizing the task reward in a variety of simulated environments, including autonomous driving, emergent communication, and robotic manipulation. We show qualitative results on our website: https://sites.google.com/view/stable-marl/.

研究の動機と目的

• 変化する相手の戦略に起因する非定常性が生じるマルチエージェント強化学習における課題に対処すること。
• 複雑な戦略ダイナミクスをモデル化するのではなく、相手の戦略を安定化させることで、エゴエージェントの学習アルゴリズムの負担を軽減すること。
• エゴエージェントが相手の戦略が安定した状態に収束するように能動的に影響を与える方法を開発し、長期的な方策学習を簡素化すること。
• 学習された潜在表現に基づく非教師付きの安定性報酬を設計し、明示的な教師信号を必要とせずにエゴエージェントをガイドすること。
• 相手の戦略を安定化させることで、多様なシミュレーテッド環境においてタスク報酬の最大化とサンプル効率の両方が向上することを実証すること。

提案手法

• 非教師付き表現学習を用いて、相手の戦略の低次元潜在表現を学習する。
• エゴエージェントの行動に応じた相手の潜在戦略の変化ダイナミクスをモデル化する。
• 潜在空間における戦略変更の頻度と一貫性に基づいて、非教師付きの安定性報酬を定義する。
• タスク報酬に安定性報酬を組み合わせることで、エゴエージェントがタスクパフォーマンスを最大化するとともに、相手の行動を安定化させることを学習する。
• 潜在戦略表現の品質を向上させ、安定性信号のノイズを低減するため、コントラスト学習の目的関数を用いる。
• 離散的および連続的潜在変数を含む環境、ならびに戦略変化の観測が部分的である状況にも本手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 安定性報酬による能動的影響は、非定常なマルチエージェント環境における学習効率を向上させるか？
• RQ2 学習された潜在戦略ダイナミクスに基づく非教師付き安定性報酬は、相手の行動を安定化させるのにどの程度有効か？
• RQ3 相手の戦略を安定化させることで、反応的または非安定化ベースラインと比較して、タスク報酬の最大化が向上するか？
• RQ4 相手の戦略が頻繁に変化する環境や、相手の戦略変化が部分的にしか観測できない環境でも、本手法は効果を発揮するか？
• RQ5 真の相手の戦略が直接観測できない状況でも、エゴエージェントは潜在戦略表現に依存して安定化を学習できるか？

主な発見

• サークル（3ゴール）環境では、SILIが最高のタスク報酬を達成し、真の相手戦略にアクセスできるオラクルと同等のパフォーマンスを示した。
• サークル（8ゴール）環境では、SILIが相手を安定化させることに成功し、複数の相手戦略が存在する複雑性が高まった状況でも、すべてのベースラインを上回った。
• サークル（不平等）環境では、SILIは不安定な近接戦略を回避し、安定化を学習したが、他のベースラインは不安定な戦略を貪欲に追跡しようとしたため、安定化に失敗した。
• ドライブ環境では、SILIが唯一、衝突ゼロを達成し、他のベースラインを著しく上回った。これは、相手の行動を安定化させた結果である。
• 部分観測可能なデトゥール・スピーカ-リスナー環境では、SILIは約250回の相互作用後に相手の戦略を安定化させ、持続的な高いタスク報酬を達成した。一方、LILIは一時的に安定化したが、タスクパフォーマンスが低下した。
• ノイズが多いか連続的な潜在表現であっても、安定性報酬は有効であったが、離散的潜在変数の方がより安定した学習信号と優れたパフォーマンスをもたらした。