[論文レビュー] Neighborhood Cognition Consistent Multi-Agent Reinforcement Learning

Hangyu Mao, Wulong Liu+6 more|arXiv (Cornell University)|Dec 3, 2019

Reinforcement Learning in Robotics参考文献 19被引用数 6

ひとこと要約

本稿では、隣接エージェント間の認知的一致性を変分推論による共有隠れ認知変数を用いて強制することで、マルチエージェント協調を向上させる、新しいフレームワークであるNeighborhood Cognition Consistent Multi-Agent Reinforcement Learning (NCC-MARL) を提案する。この隠れ変数に隣接領域固有の表現を一致させることで、NCC-Q および NCC-AC は、ルーティング、WiFi設定、Google Football タスクにおいて、環境の複雑さが増すに従い、最先端のMARL手法を上回る優れた性能を発揮する。

ABSTRACT

Social psychology and real experiences show that cognitive consistency plays an important role to keep human society in order: if people have a more consistent cognition about their environments, they are more likely to achieve better cooperation. Meanwhile, only cognitive consistency within a neighborhood matters because humans only interact directly with their neighbors. Inspired by these observations, we take the first step to introduce \emph{neighborhood cognitive consistency} (NCC) into multi-agent reinforcement learning (MARL). Our NCC design is quite general and can be easily combined with existing MARL methods. As examples, we propose neighborhood cognition consistent deep Q-learning and Actor-Critic to facilitate large-scale multi-agent cooperations. Extensive experiments on several challenging tasks (i.e., packet routing, wifi configuration, and Google football player control) justify the superior performance of our methods compared with state-of-the-art MARL approaches.

研究の動機と目的

• マルチエージェント強化学習におけるエージェント間の不一致した認識の課題に対処すること。
• 既存のグローバルな協調手法と補完的である、スケーラブルでローカルレベルの協調メカニズムを構築すること。
• エージェントの近隣における認知的一致性を、強固で大規模なマルチエージェント協調の主要因として形式化すること。
• DQN やアクタクリティックなどの既存のMARLアルゴリズムと統合可能な汎用的な手法を設計すること。
• 近隣認知的一致性が、特に複雑な環境において、サンプル効率と性能の向上に寄与することを実証的に検証すること。

提案手法

• マルチエージェント環境をグラフとしてモデル化し、エージェントをノード、相互作用をエッジとする。
• グラフ畳み込みネットワーク（GCN）を用いて、隣接エージェントの共同観測を処理し、高レベルの表現を抽出する。
• この表現をエージェント固有および近隣固有の認知的表現に分解する。
• 各エージェントの近隣表現を、近隣ごとに共有される真の隠れ認知変数と一致させるための、変分推論に基づくCD損失を導入する。
• CD損失は、隣接エージェントが局所環境について一貫した認知を持つよう促進し、協調的ではあるが個別化された方策を可能にする。
• このフレームワークは、深層Q学習（NCC-Q）およびアクタクリティック（NCC-AC）に統合され、スケーラビリティと既存のMARLアーキテクチャとの互換性を実現する。

実験結果

リサーチクエスチョン

• RQ1 局所的な近隣における認知的一致性を強制することで、複雑で大規模な環境におけるマルチエージェント協調が向上するか？
• RQ2 中央集権的クライアントや価値因子化といったグローバルな協調メカニズムと比較して、近隣認知的一致性は性能とスケーラビリティの面でどのように差をつけるか？
• RQ3 提案されたCD損失は、一貫したエージェント認知の形成をどの程度加速させ、学習効率を向上させるか？
• RQ4 認知的一致性は、環境の複雑さが高くなると、チーム全体のパフォーマンス向上と相関するか？
• RQ5 本手法は、パケットルーティング、WiFi設定、スポーツ制御といった多様な実世界のシナリオに一般化可能か？

主な発見

• NCC-Q および NCC-AC は、パケットルーティング、WiFi設定、Google Football タスクにおいて、VDN や QMIX などの最先端のMARL手法を著しく上回る性能を発揮した。
• 2対2のGoogle Footballシナリオでは、NCC-Q が Graph-Q や GCC-Q よりも高い平均報酬を達成し、近隣認知的一致性の有効性を示した。
• アブレーションスタディの結果、TD損失とCD損失を併用することで、特に高難易度設定において収束が速くなり、認知値の一貫性が向上した。
• 高難易度のフットボールシナリオ（game_difficulty=0.9）では、CD損失が不可欠であった。CD損失を含まない手法は、極めて低い報酬と一貫性のない認知値を示した。
• 結果から、認知的一致性とチームパフォーマンスの間に強い正の相関があることが示された。一貫性のある近隣構造が、より良い協調を可能にした。
• 大規模なルーティングタスクにおいても、本手法は良好にスケーリング可能であり、環境の複雑さが増すに従い、NCC-MARL の性能向上が顕著に増幅された。