[論文レビュー] Factored Value Functions for Graph-Based Multi-Agent Reinforcement Learning

Ahmed Rashwan, Keith Briggs+2 more|arXiv (Cornell University)|Jan 16, 2026

Reinforcement Learning in Robotics被引用数 0

ひとこと要約

Diffusion Value Function (DVF) を導入することで、グラフベース MARL の事実分解型クリティックを実現し、DA2C と LD-GNN を構築して、通信を考慮したポリシーでスケーラブルかつ分散学習を可能にする；消防などのタスクや分散計算タスクで性能が向上。

ABSTRACT

Credit assignment is a core challenge in multi-agent reinforcement learning (MARL), especially in large-scale systems with structured, local interactions. Graph-based Markov decision processes (GMDPs) capture such settings via an influence graph, but standard critics are poorly aligned with this structure: global value functions provide weak per-agent learning signals, while existing local constructions can be difficult to estimate and ill-behaved in infinite-horizon settings. We introduce the Diffusion Value Function (DVF), a factored value function for GMDPs that assigns to each agent a value component by diffusing rewards over the influence graph with temporal discounting and spatial attenuation. We show that DVF is well-defined, admits a Bellman fixed point, and decomposes the global discounted value via an averaging property. DVF can be used as a drop-in critic in standard RL algorithms and estimated scalably with graph neural networks. Building on DVF, we propose Diffusion A2C (DA2C) and a sparse message-passing actor, Learned DropEdge GNN (LD-GNN), for learning decentralised algorithms under communication costs. Across the firefighting benchmark and three distributed computation tasks (vector graph colouring and two transmit power optimisation problems), DA2C consistently outperforms local and global critic baselines, improving average reward by up to 11%.

研究の動機と目的

• 大規模 MARL におけるクレジット割り当てを、グラフとして表現した局所的相互作用とともに解決する。
• 報酬を影響ネットワーク上に拡散させ、時間割引と空間的減衰を用いた事実分解型価値関数を提案する。
• 標準 RL アルゴリズムと互換性のあるドロップインクリティックを提供し、グラフニューラルネットワークでスケーラブルに推定する。
• 通信コストの下で分散学習を可能にするディフュージョンベースのアルゴリズム（DA2C）と、疎なメッセージパッシングを行うアクター（LD-GNN）を開発する。

提案手法

• DVF を、影響ネットワーク全体に報酬を拡散させることによって得られるエージェントごとの価値成分として定義し、時間的割引と空間的減衰を用いる。
• DVF が適切に定義可能であり、Bellman 不動点を持ち、平均化特性によってグローバル割引値を分解できることを証明する。
• DVF を標準 RL アルゴリズムのクリティックとして使用し、グラフニューラルネットワークで推定する。
• 分散学習を可能にする Diffusion A2C（DA2C）と、通信制約下での分散学習を支える Learned DropEdge GNN（LD-GNN）を導入する。

実験結果

リサーチクエスチョン

• RQ1 影響ネットワーク上に報酬を拡散させて構築された事実分解型の価値関数は、全体的なクリティックや単純な局所クリティックよりも各エージェントにとってより良い学習信号を提供するか。
• RQ2 DVF は定義可能でBellman不動点を持ち、平均化によってグローバル値を分解するか。
• RQ3 拡散ベースのクリティックは標準的な RL 設定と、通信コスト下の分散学習でどのように性能を発揮するか。
• RQ4 DA2C と LD-GNN は、グラフ構造化 MARL タスクにおいて、ベースラインと比較して性能を改善するか。

主な発見

• DVF は影響ネットワーク上で報酬を拡散させることにより、時間割引と空間的減衰を用いてエージェントごとの価値成分を提供する。
• DVF は適切に定義可能でBellman不動点を持ち、平均化特性によってグローバル割引値を分解する。
• DA2C と LD-GNN は、DVF をクリティックとして用い、通信を意識したポリシーを持つ分散学習を実現する。
• タスク全体（消防タスクのベンチマークと分散計算の問題）を通じて、DA2C は局所・グローバルクリティックベースラインを一貫して上回り、平均報酬の改善は最大で 11% に達する。