[論文レビュー] Graph Convolutional Reinforcement Learning

Jiechuan Jiang, Chen Dun+2 more|arXiv (Cornell University)|Oct 22, 2018

Reinforcement Learning in Robotics参考文献 37被引用数 32

ひとこと要約

本稿では、関係カーネルと時系列正則化を用いたグラフ畳み込みを介して協調的方策を学ぶために、動的グラフとしてマルチエージェント環境をモデル化するGraph Convolutional Reinforcement Learning (DGN)を提案する。DGNは、ルーティングやマルチエージェントゲームなどの協調的タスクにおいて、エージェント間の相互作用を捉え、進化するグラフ上のメッセージスイーピングによりスケーラブルで一貫性のある協調を可能にすることで、既存手法を著しく上回る性能を発揮する。

ABSTRACT

Learning to cooperate is crucially important in multi-agent environments. The key is to understand the mutual interplay between agents. However, multi-agent environments are highly dynamic, where agents keep moving and their neighbors change quickly. This makes it hard to learn abstract representations of mutual interplay between agents. To tackle these difficulties, we propose graph convolutional reinforcement learning, where graph convolution adapts to the dynamics of the underlying graph of the multi-agent environment, and relation kernels capture the interplay between agents by their relation representations. Latent features produced by convolutional layers from gradually increased receptive fields are exploited to learn cooperation, and cooperation is further improved by temporal relation regularization for consistency. Empirically, we show that our method substantially outperforms existing methods in a variety of cooperative scenarios.

研究の動機と目的

• エージェントの関係性や近隣関係が急速に変化する極めて動的なマルチエージェント環境において、協調的方策を学ぶ課題に対処すること。
• 完全通信や平均場近似、因果的影響に依存する従来手法が重要な関係的情報を失うのに対し、エージェント間の相互作用をより効果的にモデル化すること。
• エージェント数の変動にわたって一般化できる、パラメータ共有型のスケーラブルな強化学習フレームワークを構築すること。
• 関係表現の時系列正則化を通じて、動的環境における協調の一貫性を向上させること。
• ネットワークルーティングやマルチエージェントゲームなどの複雑な協調的タスクにおいて、最先端のMARLベースラインを上回る優れた性能を示すこと。

提案手法

• マルチエージェント環境を動的グラフとしてモデル化し、エージェントをノードとし、観測値をノード特徴量とし、各エージェントとその近隣エージェントを接続するエッジを設定する。
• グラフ畳み込みは、多スケールアテンションを畳み込みカーネルとして用い、入力順序に依存しないエージェント間の関係表現を学習可能にする。
• 段階的な受容場の拡大を通じて、スタックされたグラフ畳み込み層から、多スケールの協調パターンを捉える潜在的特徴量を抽出する。
• 時系列関係正則化は、連続するタイムステップ間の関係表現のKLダイバージェンスを最小化することで適用され、方策の一貫性を促進する。
• フレームワークは、エージェント数に依存しないエンドツーエンドのパラメータ共有型ディープQネットワークとしてDGN（Deep Graph Network）として実装される。
• 動的グラフ上のメッセージスイーピングを活用し、局所的および拡張された近隣情報に基づいて、方策を共同で最適化する。

実験結果

リサーチクエスチョン

• RQ1 グラフ畳み込みネットワークは、マルチエージェント強化学習における動的エージェント相互作用を効果的にモデル化できるか？
• RQ2 エージェント間の関係表現を学習することで、平均場近似や完全通信ベースラインを上回る協調性が向上するか？
• RQ3 関係表現の時系列正則化は、動的環境におけるより一貫性があり安定した協調的方策をもたらすか？
• RQ4 本手法は、再訓練なしに、より多くのエージェント数に一般化できるか？
• RQ5 本手法は、ネットワークルーティングやマルチエージェントゲームといった複雑な協調的タスクにおいて、既存のMARL手法を上回る性能を発揮するか？

主な発見

• N=20、L=20のルーティングタスクにおいて、DGNは平均報酬1.23を達成し、MFQ（1.02）、CommNet（0.49）、DQN（0.18）を著しく上回った。
• DGNは平均パケット遅延を8.0タイムステップに低減し、1タイムステップあたり2.50パケットのスループットを達成し、帯域制限付きFloyd（遅延: 8.7、スループット: 2.30）を上回った。
• 再訓練なしにN=60、L=20でテストした際、DGNは平均報酬0.73を維持し、Floyd with BLおよび、負荷が重い状況で性能が低下したMFQをも上回った。
• DGNエージェントは必要に応じて代替ルートを選択することで、混雑を避ける戦略的協調を学習しており、最短ルートルーティングを越えた戦略的協調を示した。
• アブレーションスタディにより、グラフ畳み込み、関係カーネル、時系列正則化がそれぞれ性能向上に顕著な寄与をしていることが確認された。
• DGNは再訓練なしにN=140に一般化でき、エージェント数の増加に対しても強力なスケーラビリティと耐性を示した。