[논문 리뷰] Packet Routing with Graph Attention Multi-agent Reinforcement Learning

Xuan Mai, Quanzhi Fu외 1명|arXiv (Cornell University)|2021. 07. 28.

Software-Defined Networks and 5G참고 문헌 9인용 수 4

한 줄 요약

이 논문은 그래프 어텐션 네트워크(GATs)를 활용하여 라우터가 국소적인 토폴로지 및 트래픽 정보에 기반해 지능적이고 분산된 라우팅 결정을 내릴 수 있도록 하는 다중 에이전트 강화학습 프레임워크인 딥 그래프 어텐션 네트워크 라우팅(DGATR)을 제안한다. 이 방법은 특히 동적이고 고부하 조건에서 종단 간 패킷 지연을 감소시키고 네트워크 부하 용량을 증가시키는 데 기존 기준 알고리즘을 능가한다.

ABSTRACT

Packet routing is a fundamental problem in communication networks that decides how the packets are directed from their source nodes to their destination nodes through some intermediate nodes. With the increasing complexity of network topology and highly dynamic traffic demand, conventional model-based and rule-based routing schemes show significant limitations, due to the simplified and unrealistic model assumptions, and lack of flexibility and adaption. Adding intelligence to the network control is becoming a trend and the key to achieving high-efficiency network operation. In this paper, we develop a model-free and data-driven routing strategy by leveraging reinforcement learning (RL), where routers interact with the network and learn from the experience to make some good routing configurations for the future. Considering the graph nature of the network topology, we design a multi-agent RL framework in combination with Graph Neural Network (GNN), tailored to the routing problem. Three deployment paradigms, centralized, federated, and cooperated learning, are explored respectively. Simulation results demonstrate that our algorithm outperforms some existing benchmark algorithms in terms of packet transmission delay and affordable load.

연구 동기 및 목표

• 동적이고 복잡한 네트워크 토폴로지와 트래픽 패턴을 다루는 데 있어 전통적인 모델 기반 및 규칙 기반 라우팅 프로토콜의 한계를 해결하기 위해.
• 단순화된 가정에 의존하지 않고 실시간 네트워크 조건에 적응할 수 있는 모델 프리, 데이터 기반의 라우팅 전략을 개발하기 위해.
• 다중 에이전트 강화학습 프레임워크에 그래프 신경망(GNNs)과 어텐션 메커니즘을 통합하여 네트워크 토폴로지의 그래프 구조를 활용해 라우팅 정책 학습을 향상시키기 위해.
• 중앙집중식, 피어드, 협업 학습의 세 가지 구현 파라다임을 평가하고 스케일러빌리티, 안정성, 성능 측면에서 다중 에이전트 라우팅에서의 성능을 비교하기 위해.

제안 방법

• 각 라우터는 국소 네트워크 상태(큐 길이 및 토폴로지 정보 포함)를 관측하고, 값 기반 딥 강화학습 알고리즘을 사용하여 다음 홉 액션을 선택하는 독립된 에이전트로 모델링된다.
• 각 에이전트에서 그래프 어텐션 네트워크(GAT)를 사용하여 이웃 노드의 정보를 집계하고 처리하여 네트워크 그래프 내의 관계적 종속성을 포착하고 잠재적인 구조적 특징을 추출한다.
• GAT 기반 아키텍처는 각 에이전트가 국소 관측치와 더불어 광범위한 네트워크 토폴로지의 맥락 정보에 기반한 라우팅 결정을 내릴 수 있도록 한다.
• 프리트레이닝을 통해 잘 훈련된 Q-라우팅 정책이 생성한 전이 데이터를 활용하여 오프-폴리시 경험 리플레이를 사용해 프레임워크를 훈련한다. 이는 수렴 속도를 가속화한다.
• 중앙집중식, 피어드, 협업 학습의 세 가지 학습 파라다임을 평가하였으며, 이는 에이전트 간 매개변수와 기울기를 공유하는 방식에서 다름으로써 탐색과 안정성의 균형을 이룬다.
• 알고리즘은 딥 Q-네트워크(DQN)에 영감을 받은 값 기반 DRL 접근법을 사용하며, 큰 상태-액션 공간을 처리하기 위해 딥 신경망을 함수 근사기로 활용한다.

실험 결과

연구 질문

• RQ1 그래프 어텐션 메커니즘을 활용하는 다중 에이전트 강화학습 프레임워크가 종단 간 지연과 부하 용량 측면에서 기존의 라우팅 알고리즘 및 딥러닝 기반 알고리즘을 능가할 수 있는가?
• RQ2 GAT를 통해 그래프 구조와 관계적 정보를 통합함으로써, 완전히 연결된 DNN에 비해 라우팅 정책 학습이 어떻게 향상되는가?
• RQ3 다양한 네트워크 부하 조건 하에서 다중 에이전트 라우팅에서 중앙집중식, 피어드, 협업 학습 파라다임 간의 성능 트레이드오���은 어떠한가?
• RQ4 전문가 시범 데이터를 활용한 프리트레이닝이 복잡한 라우팅 환경에서 학습 속도를 가속화하고 초반 정책 성능을 향상시키는 데 얼마나 기여하는가?

주요 결과

• DGATR는 DNN 기반 함수 근사에 의한 더 나은 탐색과 일반화 덕분에, 특히 고부하 조건에서 Q-라우팅 및 하이브리드 Q-러닝 알고리즘보다 종단 간 지연 측면에서 뚜렷이 뛰어나다.
• 6×6 격자 네트워크에서 로드 1 조건 하에 5,000단계의 프리트레이닝 후 DGATR는 평균 종단 간 지연 5.631을 기록하였으며, 동일 조건에서 DQN-라우팅은 6.304를 기록하였다.
• 협업 학습 파라다임이 로드 3.0에서 가장 낮은 지연(8.486 ± 0.02)과 가장 높은 안정성을 기록하여 중앙집중식 및 피어드 학습보다 평균 지연과 분산 측면에서 모두 뛰어나다.
• DGATR는 지연이 급격히 증가하기 전까지 더 높은 네트워크 부하를 유지할 수 있으며, 최단 경로 및 Q-라우팅에 비해 훨씬 뛰어난 적응성을 보여주며, 전역 중앙집중식 라우팅 수준에 가까운 성능을 기록한다.
• GAT 기반 아키텍처는 DQN-라우팅보다 수렴 속도가 빠르고 성능이 뛰어나, 그래프 인식 특징 추출이 라우팅 정책 품질을 향상시킨다는 것을 시사한다.
• 프리트레이닝은 학습을 크게 가속화하며, DGATR는 단지 3,000단계의 프리트레이닝 후에 거의 최적의 성능에 도달하는 반면, DQN-라우팅은 유사한 성능에 도달하기 위해 4,000단계 이상이 소요된다.