[論文レビュー] Deep Coordination Graphs

Wendelin Böhmer, Vitaly Kurin+1 more|arXiv (Cornell University)|Sep 27, 2019

Graph Theory and Algorithms参考文献 50被引用数 42

ひとこと要約

DCGは、共有パラメータと低ランクのペイオフを持つ協調グラフ上で結合価値関数を因数分解する深層強化学習アプローチを導入し、マルチエージェントタスクに対するスケーラブルなエンドツーエンドQ学習を可能にします。

ABSTRACT

This paper introduces the deep coordination graph (DCG) for collaborative multi-agent reinforcement learning. DCG strikes a flexible trade-off between representational capacity and generalization by factoring the joint value function of all agents according to a coordination graph into payoffs between pairs of agents. The value can be maximized by local message passing along the graph, which allows training of the value function end-to-end with Q-learning. Payoff functions are approximated with deep neural networks that employ parameter sharing and low-rank approximations to significantly improve sample efficiency. We show that DCG can solve predator-prey tasks that highlight the relative overgeneralization pathology, as well as challenging StarCraft II micromanagement tasks.

研究の動機と目的

• 協調的なMARLを動機づけ、結合アクション空間の指数的成長に対処する。
• 結合Q値を対となるペイオフとエージェントのユーティリティに分解するディープ協調グラフ（DCG）を提案する。
• payoff関数とユーティリティ関数全体でパラメータを共有し、局所情報を用いてスケーラブルな訓練を実現する。
• 大規模なアクション空間を効率的に扱うために低ランク近似を組み込む。
• 訓練時の中央集権的訓練と分散実行の両方、訓練時の潜在的な特権情報を検討する。

提案手法

• Q値をペアワイズのペイオフ f^ij と各エージェントのユーティリティ f^i を持つ協調グラフとして表現する。
• 共通の再帰ネットワークを介してすべてのペイオフ関数とユーティリティ関数のパラメータをエージェント履歴を条件として共有する。
• 出力を 2KA に削減するよう f^ij の低ランク因数分解を用いる（K は次数、A はアクション数）。
• グラフのトポロジーに基づき局所的なgreedyアクションを最大化するためにメッセージパッシング（max-plus/ベリーフ伝搬）を適用する。
• 訓練時にグローバルな状態情報を提供する特権バイアス v^φ(s) を任意追加する（DCG-S）。
• トポロジー転送を可能にするため、f^ij と f^ji を平均して置換不変のペイオフへ拡張する。

実験結果

リサーチクエスチョン

• RQ1 協調グラフ上の因数分解されたQ関数は、完全に分散化されたベースラインよりも協調アクションをうまく捉えることができるか。
• RQ2 パラメータ共有と低ランクのペイオフ近似は、大規模なMARL設定におけるサンプル効率を改善するか。
• RQ3 完全連結、サイクル、ライン、スターなど、異なるグラフトポロジーは学習の信頼性と性能にどのような影響を与えるか。
• RQ4 DCGは QMIX、VDN、QTRAN、IQL のような最先端手法を複雑なタスクで上回ることができるか。
• RQ5 特権的な訓練情報の組み込みはパフォーマンスを改善するか（ DCG-S ）？
• RQ6 key_findings）（
• RQ7 table_headers は空ですか？
• RQ8 table_rows は空ですか？

主な発見

• DCGは挑戦的な捕食者-被捕食者とStarCraft IIのマイクロマネジメントタスクでベースラインMARL手法を上回る。
• 完全連結のDCGは協調のないアクションに対して強い罰を与えるタスクを安定して解く一方、非共有またはトポロジー制限ありのDCGは分散が大きいまたは失敗する。
• 低ランクのペイオフ近似は性能の大幅な低下を伴うことなくサンプル効率を大幅に改善する。
• DCGは特に協調的探索下で、VDN、QMIX、IQL、さらには QTRAN よりも結合アクション値を表現できる場合がある。
• グラフトポロジーは信頼性に強く影響し、完全連結グラフが最も良い性能を示し、疎なトポロジーはシード間で分散が高い。