[论文解读] An Overlay Multicast Routing Method Based on Network Situational Aware-ness and Hierarchical Multi-Agent Reinforcement Learning

Miao Ye, Yanye Chen+5 more|arXiv (Cornell University)|Jan 17, 2026

Software-Defined Networks and 5G被引用 0

一句话总结

本论文提出 MA-DHRL-OM，一种用于覆盖组播路由的分层多代理强化学习方法，利用 SDN 全域态势感知规划 OM 路径，显著提升时延、带宽利用率和丢包，并实现稳定收敛。

ABSTRACT

Compared with IP multicast, Overlay Multicast (OM) offers better compatibility and flexible deployment in heterogeneous, cross-domain networks. However, traditional OM struggles to adapt to dynamic traffic due to unawareness of physical resource states, and existing reinforcement learning methods fail to decouple OM's tightly coupled multi-objective nature, leading to high complexity, slow convergence, and instability. To address this, we propose MA-DHRL-OM, a multi-agent deep hierarchical reinforcement learning approach. Using SDN's global view, it builds a traffic-aware model for OM path planning. The method decomposes OM tree construction into two stages via hierarchical agents, reducing action space and improving convergence stability. Multi-agent collaboration balances multi-objective optimization while enhancing scalability and adaptability. Experiments show MA-DHRL-OM outperforms existing methods in delay, bandwidth utilization, and packet loss, with more stable convergence and flexible routing.

研究动机与目标

• 在异构网络和动态流量条件下，说明自适应覆盖组播路由的需求。
• 开发一个基于 SDN 信息、能感知流量的模型来引导覆盖组播路径规划。
• 通过将 OM 树构建分解为分层代理阶段，降低复杂度并改善收敛稳定性。
• 实现多代理协作，在权衡多目标优化（时延、带宽、丢包）的同时提高可扩展性。

提出的方法

• 提出 MA-DHRL-OM，一种用于覆盖组播路由的多代理深度分层强化学习框架。
• 利用 SDN 全局视图构建一个感知流量的 OM 路径规划模型。
• 通过分层代理将 OM 树构建分解为两个阶段，以降低动作空间并稳定收敛。
• 采用多代理协作，在路由决策中平衡多目标优化。
• 在时延、带宽利用率和丢包方面展示相较于现有方法的性能提升，并实现稳定收敛。

实验结果

研究问题

• RQ1 如何利用 SDN 的网络态势感知来改进覆盖组播路由？
• RQ2 分层多代理强化学习是否能够解耦并管理 OM 路由的多目标特性，以提升收敛性和可扩展性？
• RQ3 所 proposed MA-DHRL-OM 方法在时延、带宽利用率和丢包等关键指标上是否优于现有方法？

主要发现

• MA-DHRL-OM 在时延、带宽利用率和丢包方面优于现有方法。
• 分层两阶段代理设计降低了动作空间并提高了收敛稳定性。
• 多代理协作有助于平衡多目标，提升可扩展性和适应性。
• 与基线方法相比，该方法在收敛更稳定、路径选择更灵活方面有显著改进。