[論文レビュー] Agent-Centric Representations for Multi-Agent Reinforcement Learning

Wenling Shang, Lasse Espeholt+2 more|arXiv (Cornell University)|Apr 19, 2021

Reinforcement Learning in Robotics参考文献 26被引用数 7

ひとこと要約

本論文は、マルチエージェント強化学習（MARL）におけるエージェント中心の表現を導入し、複雑な協調行動を可能にするエージェント中心のアテンションモジュールと、事前学習または補助学習のためのエージェント中心の自己教師付き予測目的を提案する。グーグルリサーチフットボールおよびディープマインドラボ2Dにおける実験では、これらの構成要素がサンプル効率性と一般化性能を向上させ、発生的チームワーク戦略を生み出すことが示された。最良のエージェントは、公に提供されたGRFランクイングで1位を獲得した。

ABSTRACT

Object-centric representations have recently enabled significant progress in tackling relational reasoning tasks. By building a strong object-centric inductive bias into neural architectures, recent efforts have improved generalization and data efficiency of machine learning algorithms for these problems. One problem class involving relational reasoning that still remains under-explored is multi-agent reinforcement learning (MARL). Here we investigate whether object-centric representations are also beneficial in the fully cooperative MARL setting. Specifically, we study two ways of incorporating an agent-centric inductive bias into our RL algorithm: 1. Introducing an agent-centric attention module with explicit connections across agents 2. Adding an agent-centric unsupervised predictive objective (i.e. not using action labels), to be used as an auxiliary loss for MARL, or as the basis of a pre-training step. We evaluate these approaches on the Google Research Football environment as well as DeepMind Lab 2D. Empirically, agent-centric representation learning leads to the emergence of more complex cooperation strategies between agents as well as enhanced sample efficiency and generalization.

研究の動機と目的

• 視覚および推論分野で成功を収めたオブジェクト中心のインダクティブバイアスが、マルチエージェント強化学習（MARL）に有益であるかどうかを調査すること。
• 分散エージェントを明示的に接続する共有ポリシー・ネットワーク内での協調を向上させるために、エージェント中心のアテンション機構を設計・評価すること。
• 行動ラベルを必要としないエージェント中心の自己教師付き軌道予測タスクを開発し、行動ラベルなしで表現学習を強化するための事前学習または補助損失としての有効性を検証すること。
• エージェント中心の表現学習が、挑戦的なMARL環境におけるサンプル効率性、一般化性能、および発生的協調行動に与える影響を評価すること。

提案手法

• 分散エージェントの前方伝播から得られる中間特徴を対象として動作するエージェント中心のアテンションモジュールを導入し、共有ポリシー・ネットワーク内での明示的相互作用を可能にすることで、エージェント間の協調を促進する。
• 行動ラベルを一切不要とする、エージェント中心の新しい予測目的を採用し、観測からの各エージェントの将来位置を予測することで、自己教師付き事前学習または補助学習を実現する。
• 事前学習モデルを2つのファインチューニング戦略（重み初期化およびプログレッシブニューラルネットワーク風の凍結カラム）を用いて適用する。
• 完全協調的MARL設定において、V-traceアクタクリティックとポリシー勾配最適化を用い、マルチエージェントMDPとして定式化する。
• オンポリシーMARLアルゴリズムにおいてエージェント中心のアテンションモジュールを評価し、本研究では初めてこのモジュールがその設定で使用された。
• エージェント中心の予測目的と、非エージェント中心の「全観測」ベースラインとの比較を通じて、エージェント固有の推論の利点を分離して評価する。

実験結果

リサーチクエスチョン

• RQ1 エージェント中心の表現は、完全協調的マルチエージェント強化学習において協調性と一般化性能を向上させるか？
• RQ2 エージェント中心のアテンション機構は、標準的なCNNと比較して、より複雑で効果的な協調戦略の発生を促進するか？
• RQ3 エージェント中心の自己教師付き予測目的は、行動ラベルを必要とせず、MARLにおける有効な補助損失または事前学習目的として機能するか？
• RQ4 エージェント中心の表現学習は、マルチエージェント環境におけるサンプル効率性およびポリシーの変化に対するロバストネスにどのように影響を与えるか？
• RQ5 エージェント中心の目的で事前学習をすることで、一般化性能が向上するか、それとも新しい相手に対する適応能力が制限されるか？

主な発見

• エージェント中心のアテンションを備えたACNNモデルは、20試合のトーナメントでELOレーティング147を達成し、CNNベースライン（−323レーティング）を著しく上回り、優れた一般化性能を示した。
• 補助予測損失を用いてファインチューニングしたACNNエージェントはELOレーティング182を達成し、公に提供されたGRFマルチエージェントリーグのランクイングで1位となり、スコア1992を記録した。
• エージェント中心の予測目的で事前学習したエージェントは、ランダム初期化からのファインチューニングより優れた一般化性能を示し、表現学習の有効性を裏付けた。
• エージェント中心の予測目的は、すべての評価設定で非エージェント中心の「全観測」ベースラインを上回り、エージェント固有の推論の重要性を確認した。
• 内蔵AIポリシーと学習したエージェントは脆弱で、より強い相手に対しては成績が芳しくなかったが、自己対戦AIと学習したエージェントは強力な一般化性能を示し、公に提供されたランクイングでトップにランクインした。
• 事前学習を経て学習したACNNモデルは、ランダム初期化から学習を開始したモデルよりも一般化性能が優れていたが、これは事前学習が探索的行動の能力を制限する可能性があることを示唆している。