[論文レビュー] Deep Multi-Agent Reinforcement Learning with Relevance Graphs

Aleksandra Malysheva, Tegg Tae Kyong Sung+3 more|arXiv (Cornell University)|Nov 30, 2018

Reinforcement Learning in Robotics参考文献 16被引用数 36

ひとこと要約

本稿では、環境オブジェクトとエージェント間の動的関係性グラフを自己注意機構を用いて学習する深層マルチエージェント強化学習フレームワーク、MAGNetを提案する。また、NerveNetにインspiredされたメッセージ渡しを用いて協調性を向上させる。Pommermanで評価した結果、DQN、MADDPG、MCTSといった最先端手法を著しく上回り、グラフ共有と注意メカニズムのおかげで、勝率が高く、収束が速いことが示された。

ABSTRACT

Over recent years, deep reinforcement learning has shown strong successes in complex single-agent tasks, and more recently this approach has also been applied to multi-agent domains. In this paper, we propose a novel approach, called MAGnet, to multi-agent reinforcement learning (MARL) that utilizes a relevance graph representation of the environment obtained by a self-attention mechanism, and a message-generation technique inspired by the NerveNet architecture. We applied our MAGnet approach to the Pommerman game and the results show that it significantly outperforms state-of-the-art MARL solutions, including DQN, MADDPG, and MCTS.

研究の動機と目的

• 複雑な環境において、エージェントが他のエージェントやオブジェクトの関連性をどのように推論するかという課題に取り組む。
• 特に理解が不十分な分野においては、手作業で設計された特徴量に依存せず、環境の関連性を動的に学習する。
• グラフベースの注意メカニズムによる関連性の構造的表現を統合することで、マルチエージェント方策学習を改善する。
• NerveNetにインspiredされたメッセージ生成技術を用いて、エージェント間の情報交換を強化する。
• 自己注意、グラフ共有、メッセージ渡しモジュールの有効性を実験的に検証する。

提案手法

• MAGNetは自己注意機構を用いて、各エージェントが環境オブジェクトや他のエージェントに対して重要視する要因を捉える動的関係性グラフを構築する。
• 関係性グラフを用いてエージェント間でメッセージを生成し、NerveNetアーキテクチャにインspiredされた構造的で情報交換を可能にする。
• グラフ共有を導入し、エージェントが個々のグラフを保持する代わりに、1つの関係性グラフを共有することで、方策の一般化を向上させる。
• フレームワークは、関係性グラフを介して情報を伝搬させるメッセージ渡しメカニズムを統合し、状態表現の精錬を図る。
• グラフ生成ネットワークは共有損失目的関数を用いて学習され、自己注意がノード表現学習と収束速度を向上させる。
• 全体的なアーキテクチャは、畳み込みネットワークと全結合ネットワークを組み合わせ、状態符号化、行動予測、メモリ更新を実現し、残差接続とバッチ正則化を適用する。

実験結果

リサーチクエスチョン

• RQ1 自己注意機構は、マルチエージェント環境においてエージェントと環境オブジェクト間の動的関連性を効果的に学習できるか？
• RQ2 エージェント間で1つの関係性グラフを共有することで、個々のグラフよりもサンプル効率と方策パフォーマンスが向上するか？
• RQ3 学習された関係性グラフに基づくメッセージ渡しは、マルチエージェント強化学習における協調性とパフォーマンスをどの程度向上させるか？
• RQ4 自己注意とグラフ共有は、関係性グラフ生成器の学習ダイナミクスと最終的パフォーマンス向上にどのように相互作用するか？
• RQ5 Pommermanのような複雑なマルチエージェントゲームにおいて、MAGNetはDQN、MADDPG、MCTSといった既存のMARLベースラインを上回るか？

主な発見

• Pommerman環境において、MAGNetはDQN、MADDPG、MCTSを著しく上回る高い勝率を達成し、優れた方策パフォーマンスを示した。
• 自己注意とグラフ共有の導入により、関係性グラフ学習における訓練損失が低下し、収束が早くなった。
• グラフ共有は明確な勝率向上をもたらし、10,000エピソード経過後のMAGNet-Att-NerveNet-GSチームはMAGNet-AttNerveNetチームを上回った。
• アブレーションスタディにより、自己注意、グラフ共有、メッセージ生成がそれぞれ独立してかつ累積的にパフォーマンス向上に寄与することが確認された。
• 関係性グラフの可視化から、エージェントが戦略に応じた異なる関連性認識を発達させていることがわかった（例：エージェント1はエージェント4を関連性があると認識していたが、エージェント2はそうではなかった）。これは適応的協調の証左である。
• 共有された関係性グラフは、個々のグラフが関連性を対称的に扱うのに対し、より洗練され、差別化されたエージェント行動を可能にした。