[논문 리뷰] An Overlay Multicast Routing Method Based on Network Situational Aware-ness and Hierarchical Multi-Agent Reinforcement Learning

Miao Ye, Yanye Chen외 5명|arXiv (Cornell University)|2026. 01. 17.

Software-Defined Networks and 5G인용 수 0

한 줄 요약

이 논문은 SDN 전역 상황 인식을 사용하여 OM 경로를 계획하는 오버레이 멀티캐스트 라우팅용 계층적 다중 에이전트 강화 학습 접근인 MA-DHRL-OM을 제안하며, 지연, 대역폭 활용, 패킷 손실을 개선하고 수렴이 안정적이다.

ABSTRACT

Compared with IP multicast, Overlay Multicast (OM) offers better compatibility and flexible deployment in heterogeneous, cross-domain networks. However, traditional OM struggles to adapt to dynamic traffic due to unawareness of physical resource states, and existing reinforcement learning methods fail to decouple OM's tightly coupled multi-objective nature, leading to high complexity, slow convergence, and instability. To address this, we propose MA-DHRL-OM, a multi-agent deep hierarchical reinforcement learning approach. Using SDN's global view, it builds a traffic-aware model for OM path planning. The method decomposes OM tree construction into two stages via hierarchical agents, reducing action space and improving convergence stability. Multi-agent collaboration balances multi-objective optimization while enhancing scalability and adaptability. Experiments show MA-DHRL-OM outperforms existing methods in delay, bandwidth utilization, and packet loss, with more stable convergence and flexible routing.

연구 동기 및 목표

• 동적 트래픽을 가진 이기종 네트워크에서 적응형 오버레이 멀티캐스트 라우팅의 필요성을 제기한다.
• 오버레이 멀티캐스트 경로 계획을 안내하기 위한 SDN 정보 기반의 트래픽 인식 모델을 개발한다.
• OM 트리 구성을 계층 에이전트 단계로 분해하여 복잡성을 줄이고 수렴 안정성을 향상시킨다.
• 지연, 대역폭, 손실 등 다중 목적 최적화를 균형 잡기 위해 다중 에이전트 협력을 가능하게 하면서 확장성을 개선한다.

제안 방법

• 오버레이 멀티캐스트 라우팅을 위한 다중 에이전트 심층 계층적 강화 학습 프레임워크인 MA-DHRL-OM를 소개한다.
• SDN의 글로벌 뷰를 활용하여 OM 경로 계획을 위한 트래픽 인식 모델을 구축한다.
• 계층 에이전트를 통해 OM 트리 구성을 두 단계로 분해하여 행동 공간을 감소시키고 수렴을 안정화한다.
• 라우팅 결정에서 상충하는 목표를 균형 있게 다루기 위해 다중 에이전트 협력을 활용한다.
• 지연, 대역폭 활용, 패킷 손실에서 기존 방법보다 성능이 향상되고 안정적인 수렴을 보임을 보여준다.

실험 결과

연구 질문

• RQ1 SDN의 네트워크 상황 인식을 사용하여 오버레이 멀티캐스트 라우팅을 어떻게 개선할 수 있는가?
• RQ2 계층적 다중 에이전트 강화 학습이 OM 라우팅의 다중 목적 특성을 분리하고 관리하여 수렴성과 확장성을 향상시킬 수 있는가?
• RQ3 제안된 MA-DHRL-OM 접근법이 지연, 대역폭 활용, 패킷 손실과 같은 핵심 지표에서 기존 방법을 능가하는가?

주요 결과

• MA-DHRL-OM은 지연, 대역폭 활용, 패킷 손실에서 기존 방법을 능가한다.
• 계층적 2단계 에이전트 설계가 행동 공간을 감소시키고 수렴 안정성을 개선한다.
• 다중 에이전트 협력은 다중 목표의 균형을 돕고 확장성과 적응력을 향상시킨다.
• 이 접근법은 기준선 대비 더 안정적인 수렴과 유연한 라우팅을 제공한다.