[論文レビュー] Mean-Field Control on Sparse Graphs: From Local Limits to GNNs via Neighborhood Distributions

Tobias Schmidt, Kai Cui|arXiv (Cornell University)|Jan 29, 2026

Adaptive Dynamic Programming Control被引用数 0

ひとこと要約

論文は、厳密なスパースグラフ平均場フレームワークを強化学習に対して展開し、ホライゾン依存の局所性を示し、大規模なスパースネットワークに対するGNNベースのアクター・クリティック手法を正当化します。

ABSTRACT

Mean-field control (MFC) offers a scalable solution to the curse of dimensionality in multi-agent systems but traditionally hinges on the restrictive assumption of exchangeability via dense, all-to-all interactions. In this work, we bridge the gap to real-world network structures by proposing a rigorous framework for MFC on large sparse graphs. We redefine the system state as a probability measure over decorated rooted neighborhoods, effectively capturing local heterogeneity. Our central contribution is a theoretical foundation for scalable reinforcement learning in this setting. We prove horizon-dependent locality: for finite-horizon problems, an agent's optimal policy at time t depends strictly on its (T-t)-hop neighborhood. This result renders the infinite-dimensional control problem tractable and underpins a novel Dynamic Programming Principle (DPP) on the lifted space of neighborhood distributions. Furthermore, we formally and experimentally justify the use of Graph Neural Networks (GNNs) for actor-critic algorithms in this context. Our framework naturally recovers classical MFC as a degenerate case while enabling efficient, theoretically grounded control on complex sparse topologies.

研究の動機と目的

• Decorated rooted neighborhoodsの分布上へ状態を拡張して、局所的な不均質性を捉える。
• 局所性を証明する：有限ホライズンの最適方針は(T−t)ホップの近傍のみに依存する。
• 近傍分布の拡張空間上でのDynamic Programming Principleを定式化する。
• 理論的正当化を伴うGraph Neural Networksを用いたRLアルゴリズムの設計図を提供する。
• 伝播の混乱を介して平均場解の近似的最適性を示す。

提案手法

• 局所的な不均質性を捉えるため、 decorated rooted neighborhoods の上の確率測度としてシステム状態を再定義する。
• ホライゾン依存の局所性を確立する：時点tの方針は(T−t)ホップの近傍のみによって決まる。
• 近傍分布上の拡張MDPにおけるベルマン方程式としての動的計画原理を導出する。
• 2層の方針構造（メタ方針と局所方針）を持つ方針勾配フレームワーク（Lifted MDP）を提案する。
• 局所方針を実装するためにGraph Neural Networksを用い、平均場状態を近似するためのGNNリードアウトを用いる。
• 有限グラフの方針勾配近似結果を提供し、極限のSMFC目的へ収束することを示す。

Figure 3 : The additional information at the local node makes it easier for the agents to decide when to vaccinate, yielding a better policy compared to only local information.

実験結果

リサーチクエスチョン

• RQ1 状態を近傍分布へリフトすることでスパースグラフにもMean-Field制御を拡張できるか。
• RQ2 ホライゾン長さは局所性を誘導し、最適方針は有限半径の近傍にのみ依存するか。
• RQ3 スパースネットワークの近傍分布空間上でDP原理を定式化できるか。
• RQ4 GNNはこのスパMFC設定における方針と価値関数の関数近似器として理論的正当性を持つか。
• RQ5 RLによる有限グラフ近似は、限界のスパースMean-Field制御解へ収束するか。

主な発見

• ホライゾン依存の局所性の結果により、時刻tの最適方針は(T−t)ホップの近傍のみに依存する。
• 近傍分布の拡張空間上のDP原理が確立され、実現可能なRL定式化を可能にする。
• Lifted MFC問題の実装として、GNNベースのアクター・クリティックアーキテクチャが理論的正当性を持つ実用的な方法である。
• グラフサイズが大きくなるにつれて有限グラフの方針勾配は極限のSMFC目的へ収束するという収束保証。
• グラフが密である場合や相互作用が根元局所的である場合には、フレームワークは古典的なMFCを特別なケースとして再現する。
• 疫学的制御シナリオの実験は、局所的でグラフ対応の方針がスパースグラフにおけるMFベースラインより優れていることを示す。

Figure 5 : Applying a GNN encoder on the underlying graph can be essential in finding the optimal policy. Observe that our algorithm is able to find the optimal policy (not vaccinating nodes with infected neighbor if disease is already contained), where as the LWMFMARL is not able to distinguish bet