[論文レビュー] Joint Attention for Multi-Agent Coordination and Social Learning

Dennis Lee, Natasha Jaques+5 more|arXiv (Cornell University)|Apr 15, 2021

Reinforcement Learning in Robotics参考文献 57被引用数 4

ひとこと要約

本論文は、マルチエージェント強化学習（MARL）における共同注目メカニズムを提案し、エージェント同士の視覚的注目を一致させることで、高次元の連携行動空間における探索コストを低減する。再帰的視覚的注目アーキテクチャを用いてエージェントが注目重みを一致させるように訓練することで、協調性と社会的学習が向上し、中央集権的クライアントベースラインを上回り、エキスパートエージェントからの学習を加速する。

ABSTRACT

Joint attention - the ability to purposefully coordinate attention with another agent, and mutually attend to the same thing -- is a critical component of human social cognition. In this paper, we ask whether joint attention can be useful as a mechanism for improving multi-agent coordination and social learning. We first develop deep reinforcement learning (RL) agents with a recurrent visual attention architecture. We then train agents to minimize the difference between the attention weights that they apply to the environment at each timestep, and the attention of other agents. Our results show that this joint attention incentive improves agents' ability to solve difficult coordination tasks, by reducing the exponential cost of exploring the joint multi-agent action space. Joint attention leads to higher performance than a competitive centralized critic baseline across multiple environments. Further, we show that joint attention enhances agents' ability to learn from experts present in their environment, even when completing hard exploration tasks that do not require coordination. Taken together, these findings suggest that joint attention may be a useful inductive bias for multi-agent learning.

研究の動機と目的

• 共同注目がマルチエージェント強化学習における有効な誘導的バイアスとして機能するかどうかを調査すること。
• マルチエージェント環境における連携行動空間の探索コストの指数関数的増加を低減すること。
• 初心者エージェントがエキスパートエージェントからより速く学習できるように、社会的学習を向上させること。
• 共同注目エージェントの一般化性能を多様な環境で評価すること。

提案手法

• エージェントは、環境の顕著な要素に選択的に注目する再帰的視覚的注目アーキテクチャを装備する。
• 共同注目インcentiveが導入され、エージェント同士の注目重みの差を最小化するように報酬が与えられる。
• 注目メカニズムは、限定された数の注目ヘッドにわたるソフトマックスを用い、ボトルネックを形成することで、関係のない情報をフィルタリングする。
• 共有報酬が注目一致に基づいて与えられる、中央集権的訓練・分散実行（CTDE）フレームワークを採用する。
• 再帰的ポリシーネットワークを用いて、相互作用の履歴を条件として注目を制御し、目的指向の認識を可能にする。
• 協調タスクやエキスパート・ティーチャーのシナリオを含む、複数の環境でアプローチを評価する。

実験結果

リサーチクエスチョン

• RQ1 共同注目が、エージェントが共有される環境的要因に注目を合わせることで、マルチエージェント強化学習における探索コストを低減できるか？
• RQ2 複雑なタスクにおいて、中央集権的クライアントベースラインを上回るレベルで、共同注目がマルチエージェント協調性を向上させるか？
• RQ3 共同注目が、協調的でないタスクにおいても、エキスパート関連の環境的要因に注目させることで、社会的学習を向上させられるか？
• RQ4 標準的なMARL手法と比較して、共同注目メカニズムが未観測環境への一般化性能を向上させるか？

主な発見

• 共同注目エージェントは、複数の協調環境で競合する中央集権的クライアントベースラインを上回り、より高い最終報酬を達成した。
• 共同注目メカニズムは、サンプルの複雑さを低減し、明示的な協調が不要なタスクですら、エキスパートのデモンストレーションからの学習を高速化した。
• TaskList環境では、共同注目エージェントは、初期状態からの学習よりもエキスパートと学習する際に著しく速く学習を達成し、向上した社会的学習能力を示した。
• 変更されたテスト環境（NoStagやAllStagsを含む）においても、一般化性能が維持されたり向上したりしたため、環境変化に対して頑健であることが示された。
• 干渉要因（例：壁）を含む環境では、パフォーマンス劣化が低減したため、注目フィルタリングが一般化を向上させていることが示唆された。
• 共同注目により、エージェントはAllStags環境でトビを捕らえる行動を学習できたが、ベースラインではその行動が学習されなかった。これは、協調性の向上を示している。