[論文レビュー] Graph Convolutional Reinforcement Learning for Multi-Agent Cooperation

Jiechuan Jiang, Chen Dun+1 more|arXiv (Cornell University)|Oct 22, 2018

Complex Network Analysis Techniques参考文献 19被引用数 51

ひとこと要約

本論文は、動的グラフ構造を通じて高次関係的依存関係を捉えることで、マルチエージェント協調をモデル化するグラフ畳み込み強化学習フレームワークを提案する。受容 field が拡大するエージェント間のメッセージスイーピングと、時間的正則化を施した関係表現を活用することで、より洗練され、一貫性のある協調戦略を可能にし、ジャングルおよびバトルゲーム、ネットワークルーティングタスクにおいて先行手法を上回る性能を発揮する。

ABSTRACT

Learning to cooperate is crucially important in multi-agent reinforcement learning. The key is to take the influence of other agents into consideration when performing distributed decision making. However, multi-agent environment is highly dynamic, which makes it hard to learn abstract representations of influences between agents by only low-order features that existing methods exploit. In this paper, we propose a graph convolutional model for multi-agent cooperation. The graph convolution architecture adapts to the dynamics of the underlying graph of the multi-agent environment, where the influence among agents is captured by their abstract relation representations. High-order features extracted by relation kernels of convolutional layers from gradually increased receptive fields are exploited to learn cooperative strategies. The gradient of an agent not only backpropagates to itself but also to other agents in its receptive fields to reinforce the learned cooperative strategies. Moreover, the relation representations are temporally regularized to make the cooperation more consistent. Empirically, we show that our model enables agents to develop more cooperative and sophisticated strategies than existing methods in jungle and battle games and routing in packet switching networks.

研究の動機と目的

• 非常に動的なマルチエージェント環境におけるエージェントの影響の抽象的で高次な表現を学ぶという課題に取り組む。
• 低次特徴を越えたエージェント間関係をモデル化することで、分散型意思決定を改善する。
• 関係表現の時間的正則化を通じて、協調の一貫性を向上させる。
• 進化する依存関係を捉えるスケーラブルで適応可能なフレームワークを構築する。

提案手法

• エージェントをノードとし、その相互作用を動的エッジとして持つグラフ構造に、エージェント間の関係をモデル化するためのグラフ畳み込みアーキテクチャを採用する。
• 畳み込み層における関係カーネルが、受容 field を徐々に拡大させながら高次特徴を抽出し、エージェント間の複雑な依存関係をモデル化する。
• 勾配逆伝播が、エージェント自身のパラメータに加え、その受容 field 内の他のエージェントに対しても拡張され、協調学習を強化する。
• 関係表現の時間的正則化を施すことで、学習された協調戦略の一貫性を安定化・向上させる。
• エージェント強化学習フレームワーク内において、ポリシー勾配法を用いてエンドツーエンドでモデルを訓練する。
• グラフ構造が環境の変化に応じて動的に適応可能であり、環境の動的変化に対して頑健である。

実験結果

リサーチクエスチョン

• RQ1 グラフ畳み込みを用いて抽出された高次関係的特徴は、動的環境におけるマルチエージェント協調を改善できるか？
• RQ2 近隣エージェントへの勾配逆伝播の拡張は、協調戦略学習をどのように向上させるか？
• RQ3 関係表現の時間的正則化は、協調行動の一貫性をどの程度向上させるか？
• RQ4 提案手法は、複雑なマルチエージェント環境において、既存手法よりも洗練された戦略を学習できるか？

主な発見

• ジャングルおよびバトルゲームにおいて、本手法は既存手法と比較して、より協調的で洗練された戦略をエージェントが開発可能である。
• 関係表現の時間的正則化により、モデルは協調の一貫性を向上させた。
• グラフ畳み込み層を用いて抽出された高次特徴は、動的環境におけるエージェント間影響の表現を向上させる。
• 拡張された勾配逆伝播メカニズムにより、エージェントの近隣領域にわたり信用を伝搬させることで、協調ポリシー学習が強化される。
• 実験的結果では、パケットスイッチングネットワーク内のルーティングタスクで、ベースライン手法を上回る優れた性能を示した。
• 複雑で進化するエージェント間相互作用を伴う環境において、本フレームワークはスケーラビリティと適応性を示した。