[論文レビュー] QGNN: Value Function Factorisation with Graph Neural Networks

Ryan Kortvelesy, Amanda Prorok|arXiv (Cornell University)|May 25, 2022

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

QGNNは、マルチエージェント強化学習における価値因子分解手法を、グラフニューラルネットワーク（GNN）に基づいて提案し、マルチホップメッセージパッシングを活用して信用割り当てを改善する。エージェントをグラフとしてモデル化し、置換不変のミキサーを用いることで、StarCraft、Estimate Game、Coalition Structure Generationのベンチマークで最先端の性能を達成し、パrameter数を減らしながらも、QMIX-Att や GraphMIX などのベースラインを上回る。

ABSTRACT

In multi-agent reinforcement learning, the use of a global objective is a powerful tool for incentivising cooperation. Unfortunately, it is not sample-efficient to train individual agents with a global reward, because it does not necessarily correlate with an agent's individual actions. This problem can be solved by factorising the global value function into local value functions. Early work in this domain performed factorisation by conditioning local value functions purely on local information. Recently, it has been shown that providing both local information and an encoding of the global state can promote cooperative behaviour. In this paper we propose QGNN, the first value factorisation method to use a graph neural network (GNN) based model. The multi-layer message passing architecture of QGNN provides more representational complexity than models in prior work, allowing it to produce a more effective factorisation. QGNN also introduces a permutation invariant mixer which is able to match the performance of other methods, even with significantly fewer parameters. We evaluate our method against several baselines, including QMIX-Att, GraphMIX, QMIX, VDN, and hybrid architectures. Our experiments include Starcraft, the standard benchmark for credit assignment; Estimate Game, a custom environment that explicitly models inter-agent dependencies; and Coalition Structure Generation, a foundational problem with real-world applications. The results show that QGNN outperforms state-of-the-art value factorisation baselines consistently.

研究の動機と目的

• グローバル報酬と個々の行動との相関が乏しい協調的マルチエージェント強化学習における信用割り当て問題に対処すること。
• グラフ構造モデルを用いて、グローバル状態情報とエージェント間依存関係を統合することで、価値関数因子分解を改善すること。
• 置換不変のミキサーを用いることで、パrameter数を削減しながらも、性能を維持または向上させること。
• 通信ベースのモデルにおける表現能力の重要性を、特にGNNアーキテクチャの文脈で示すこと。
• 既知の真の局所的価値と照らし合わせて学習された局所的価値を比較することで、暗黙の信用割り当てを評価するための新しい指標を提供すること。

提案手法

• QGNNはエージェントをグラフのノードとしてモデル化し、エッジを通信リンクとして扱い、より豊かな表現学習を可能にするマルチホップメッセージパッシングを実装する。
• 多層メッセージパッシングを有するグラフニューラルネットワーク（GNN）を採用し、局所的観測とグローバルコンテキストの両方に条件付けられた局所的価値関数を学習する。
• 置換不変のミキサーがGNNで処理された表現を組み合わせ、個々のQ値を生成することで、エージェントの順序に依存しない性質を保証する。
• グラフ接続性を調整することで、通信範囲などの現実世界の制約をモデル化し、段階的な通信をサポートする。
• GNNのメッセージパッシングを通じて、Shapley値に類似した暗黙の信用割り当てを学習し、真の局所的価値が既知のカスタム環境で検証される。
• アブレーションスタディでは、グラフ接続性（通信範囲）と各コンponentの寄与度が評価され、表現の複雑さが主な要因であることが特定された。

実験結果

リサーチクエスチョン

• RQ1 マルチホップメッセージパッシングを有するGNNベースのアーキテクチャは、従来の手法と比較して価値関数因子分解を改善できるか？
• RQ2 置換不変のミキサーは、協調的マルチエージェントRLにおいて、少ないパrameter数で高い性能を達成できるか？
• RQ3 GNNコンponentの表現の複雑さとミキサーの表現の複雑さを比較すると、信用割り当て性能にどの程度の差が生じるか？
• RQ4 新しい評価指標を用いて測定した場合、GNNは信用割り当て設定において真の局所的価値をどの程度暗黙的に学習できるか？
• RQ5 グラフ接続性（例：通信範囲）は、価値因子分解手法の性能にどの程度影響を与えるか？

主な発見

• QGNNは、StarCraft Multi-Agent Challenge、Estimate Game、Coalition Structure Generationの全環境で、QMIX-Att、GraphMIX、QMIX、VDN、ハイブリッドモデルなど、最先端のベースラインをすべて上回る性能を達成した。
• StarCraft Multi-Agent Challengeでは、QGNNがすべてのベースラインよりも高い平均報酬を達成し、複雑な協調的タスクにおける優れた信用割り当て能力を示した。
• カスタム版Estimate Game環境では、QGNNがエージェント間の依存関係を適切に学習し、明示的なアテンションや複雑なアーキテクチャに依存する手法と同等またはそれ以上の性能を発揮した。
• Coalition Structure Generationでは、同等のモデルと比較して顕著に少ないパrameter数で最適または近似最適な解に到達した。
• アブレーションスタディの結果、GNNの表現の複雑さがミキサーのそれよりも重要であり、GNNの深さとメッセージパッシングのホップ数が性能に大きな影響を与えることが確認された。
• 既知の真の局所的価値に基づく新しい指標により、QGNNの暗黙の信用割り当てがShapley値に近く、協調ゲーム理論との理論的整合性が裏付けられた。