[論文レビュー] Dual-Graph Multi-Agent Reinforcement Learning for Handover Optimization

Matteo Salvatori, Filippo Vannella+6 more|arXiv (Cornell University)|Mar 25, 2026

Advanced MIMO Systems Optimization被引用数 0

ひとこと要約

この論文は CIO ベースのハンドオーバー最適化をデュアルグラフ上の分散型マルチエージェント強化学習問題として定式化し、共有 GNN アクターと地域別クリティックを用いた離散 TD3-D-MA 手法を提案し、スケーラブルな訓練と頑健な一般化を実現します。

ABSTRACT

HandOver (HO) control in cellular networks is governed by a set of HO control parameters that are traditionally configured through rule-based heuristics. A key parameter for HO optimization is the Cell Individual Offset (CIO), defined for each pair of neighboring cells and used to bias HO triggering decisions. At network scale, tuning CIOs becomes a tightly coupled problem: small changes can redirect mobility flows across multiple neighbors, and static rules often degrade under non-stationary traffic and mobility. We exploit the pairwise structure of CIOs by formulating HO optimization as a Decentralized Partially Observable Markov Decision Process (Dec-POMDP) on the network's dual graph. In this representation, each agent controls a neighbor-pair CIO and observes Key Performance Indicators (KPIs) aggregated over its local dual-graph neighborhood, enabling scalable decentralized decisions while preserving graph locality. Building on this formulation, we propose TD3-D-MA, a discrete Multi-Agent Reinforcement Learning (MARL) variant of the TD3 algorithm with a shared-parameter Graph Neural Network (GNN) actor operating on the dual graph and region-wise double critics for training, improving credit assignment in dense deployments. We evaluate TD3-D-MA in an ns-3 system-level simulator configured with real-world network operator parameters across heterogeneous traffic regimes and network topologies. Results show that TD3-D-MA improves network throughput over standard HO heuristics and centralized RL baselines, and generalizes robustly under topology and traffic shifts.

研究の動機と目的

• dense かつ異種混在ネットワークにおける適応的 HO 制御の必要性を動機づける。
• ネットワークのデュアルグラフ上で CIO ベースの HO 調整を協調型 Dec-POMDP として定式化する。
• クレジット割り当てのための共有パラメータ GNN アクターと地域別クリティックを備えたスケーラブルな MARL アルゴリズムを開発する。
• トポロジーとトラフィック変動下で提案手法の頑健性と一般化を示す。
• CIO 中心の HO 評価のための現実系オペレータ Parameters を用いた ns-3 ベース環境を提供する。

提案手法

• デュアルグラフ上のエッジベースのエージェントとして CIO をモデリングし、局所的だが結合的な影響を捉える。
• 共有 GNN アクターを用いた CTDE（ centralized training, decentralized execution ）のパラダイムでデュアルグラフ上の学習を実行する。
• 離散 CIO アクションの微分可能リラクゼーションを伴う離散 TD3-D-MA を導入する。
• オーバーラップする primal サブネットワーク上で訓練される地域別ダブルクリティックを用いてクレジット割り当てを改善する。
• デュアルグラフの M ホップ近傍での局所観測とセルスループットに基づくグローバルチーム報酬を定義する。
• 現実世界のオペレータパラメータを跨ぐ異種トポロジーで ns-3 系統レベルのシミュレータを用いて評価する。

Figure 1 : Dual-graph MARL framework for CIO-based HO. CIO agents are placed on dual-graph nodes corresponding to inter-cell edges $e=\{i,j\}$ and tune the HO bias $\mathrm{CIO}_{ij}$ for each neighbor pair. A distributed GNN actor performs local message passing to produce edge actions, while CTDE t

実験結果

リサーチクエスチョン

• RQ1 CIO ベースの HO 制御はデュアルグラフ上の協調型 MARL 問題として効果的にモデリングできるか？
• RQ2 共有 GNN アクターと地域別クリティックを備えた TD3-D-MA フレームワークは、ベースラインと比較して学習の安定性とスケーラビリティを向上させるか？
• RQ3 提案手法はトポロジーとトラフィック変動にどれだけ一般化できるか？
• RQ4 デュアルグラフの局所性と CTDE のクレジット割り当ておよび性能への影響は？
• RQ5 ns-3 ベースの CIO 中心環境は HO/MLB 実験の再現性に適しているか？

主な発見

• デュアルグラフ GNN アクターと地域別クリティックを備えた TD3-D-MA は、ヒューリスティック HO や中央集権型 RL ベースラインよりスループットを向上させる。
• デュアルグラフ（エッジベース）の定式化は、ノードベースのアプローチより近傍 CIO 間の局所結合をより効果的に捉える。
• 地域別クリティックを用いた CTDE は高密度展開におけるクレジット割り当てを改善する。
• トポロジーやモビリティパターンの変化下で手法は頑健に一般化する。
• 現実世界のオペレータパラメータを用いた ns-3 ベースの CIO 中心環境は再現性のある評価をサポートする。

(a) Undirected network graph.