[論文レビュー] Graph Convolutional Value Decomposition in Multi-Agent Reinforcement Learning

Navid Naderializadeh, Fan Hung+2 more|arXiv (Cornell University)|Oct 9, 2020

Reinforcement Learning in Robotics参考文献 34被引用数 10

ひとこと要約

本稿では、注意機構を駆動する有向グラフを介してエージェント間相互作用をモデル化する、マルチエージェント強化学習のための値関数因子分解手法であるGraphMIXを提案する。この手法は明示的な責任帰属を可能にし、SMACベンチマークにおいてQMIXおよびWeighted QMIXを上回る性能を発揮するとともに、異なったテストシナリオにおける微調整に対してもスケーラブルである。

ABSTRACT

We propose a novel framework for value function factorization in multi-agent deep reinforcement learning (MARL) using graph neural networks (GNNs). In particular, we consider the team of agents as the set of nodes of a complete directed graph, whose edge weights are governed by an attention mechanism. Building upon this underlying graph, we introduce a mixing GNN module, which is responsible for i) factorizing the team state-action value function into individual per-agent observation-action value functions, and ii) explicit credit assignment to each agent in terms of fractions of the global team reward. Our approach, which we call GraphMIX, follows the centralized training and decentralized execution paradigm, enabling the agents to make their decisions independently once training is completed. We show the superiority of GraphMIX as compared to the state-of-the-art on several scenarios in the StarCraft II multi-agent challenge (SMAC) benchmark. We further demonstrate how GraphMIX can be used in conjunction with a recent hierarchical MARL architecture to both improve the agents' performance and enable fine-tuning them on mismatched test scenarios with higher numbers of agents and/or actions.

研究の動機と目的

• 既存の値因子分解手法がエージェント相互作用構造を明示的にモデル化できないという限界に対処する。
• グラフベースの埋め込みを用いてグローバル報酬を分解することで、個々のエージェントに対する明示的な責任帰属を可能にする。
• エージェント数に依存しないミキシングモジュールを構築し、分散実行と異なるエージェント数のシナリオにおける微調整を可能にする。
• StarCraft II Multi-Agent Challenge (SMAC) のような複雑で非一様な環境における一般化性能と性能を向上させる。

提案手法

• エージェントのチームを完全な有向グラフとしてモデル化し、各エージェントをノードとし、エッジ重みを観測-行動履歴に基づいて動的に学習する注意機構によって決定する。
• グローバル状態-行動価値関数を個々のエージェント価値関数に因子分解するミキシングGNNモジュールを導入し、政策の一貫性を保つために単調性を強制する。
• GNNの最終的ノード埋め込みから個々のエージェントの報酬割合を導出し、グローバル損失とともに局所損失関数を最小化するために用いる。
• ミキシングGNN、注意機構、およびエージェントパラメータを統合的に中央集権的に学習し、トレーニング後は分散推論を可能にする。
• GNNの性能を異なるGNNタイプで評価するために、グラフ同型性ネットワーク（GIN）およびグラフ畳み込みネットワーク（GCN）アーキテクチャをGNN内に統合する。
• GraphMIXを階層的RODEフレームワークと組み合わせることで、エージェント数と行動数が増加したテストシナリオにおける微調整を可能にする。

実験結果

リサーチクエスチョン

• RQ1 学習可能なエッジ重みを有するGNNは、従来手法と比較してマルチエージェント強化学習における値関数因子分解を改善できるか？
• RQ2 GNNから得られる報酬割合による明示的な責任帰属は、MARLにおける学習効率と性能を向上させるか？
• RQ3 本稿で提案するGraphMIXフレームワークは、トレーニング時とは異なるエージェント数のテストシナリオに展開された場合でも性能を維持し、微調整を可能にするか？
• RQ4 GNNアーキテクチャの選択（例：GIN対GCN）は、値分解モジュールの性能と頑健性にどのように影響を与えるか？

主な発見

• GraphMIXは、SMACベンチマークの複数のハードおよびスーパー・ハードなシナリオにおいて、QMIXおよびWeighted QMIXを上回り、優れたサンプル効率と最終的な勝率を示した。
• GINベースのGraphMIXアーキテクチャは、大多数のSMACマップでGCNベースのバージョンと同等またはそれ以上の性能を達成し、GINがエージェントダイナミクスを効果的に捉えられることを示した。
• GraphMIXは、エージェント数が異なるテストシナリオ（具体的には、味方8〜12体、敵30体）に対しても成功裏に微調整を可能にした。QMIXベースの手法は、入力サイズの制約によりこれに失敗した。
• わずか100万ステップの微調整でも、より大きなコロシアムマップにおける勝率が著しく向上した。これは、GNNベースのミキシングモジュールのサイズ不変性とスケーラビリティを裏付けた。
• GraphMIXをRODE階層フレームワークと統合することで、複雑で高次元なシナリオにおいて迅速な転送と微調整が可能となり、単体のRODEおよびGraphMIXを上回る性能を発揮した。
• 注意機構は、特にエージェントタイプの多様性が高いため、動的な関係モデリングが求められる複雑なマップ（例：MMM2）において、非均質なエージェント相互作用を効果的にモデル化できた。