[논문 리뷰] Toward Packet Routing with Fully-distributed Multi-agent Deep Reinforcement Learning

Xinyu You, Xuanjie Li외 4명|arXiv (Cornell University)|2019. 05. 09.

Software-Defined Networks and 5G참고 문헌 36인용 수 14

한 줄 요약

이 논문은 각 라우터에서 LSTM 기반 Q-네트워크를 사용하는 완전 분산형 다중 에이gent 강화학습 프레임워크인 DQRC를 제안한다. 지역적 역사, 백로그된 패킷 정보 및 주기적인 이웃 상태 공유를 통합함으로써 DQRC는 백프레셔 대비 평균 패킷 전달 시간을 50% 이상 감소시키며, 다이나믹한 토폴로지에서 혼잡도 인식과 최단경로 라우팅을 균형 있게 유지한다.

ABSTRACT

Packet routing is one of the fundamental problems in computer networks in which a router determines the next-hop of each packet in the queue to get it as quickly as possible to its destination. Reinforcement learning (RL) has been introduced to design autonomous packet routing policies with local information of stochastic packet arrival and service. However, the curse of dimensionality of RL prohibits the more comprehensive representation of dynamic network states, thus limiting its potential benefit. In this paper, we propose a novel packet routing framework based on \emph{multi-agent} deep reinforcement learning (DRL) in which each router possess an \emph{independent} LSTM recurrent neural network for training and decision making in a \emph{fully distributed} environment. The LSTM recurrent neural network extracts routing features from rich information regarding backlogged packets and past actions, and effectively approximates the value function of Q-learning. We further allow each route to communicate periodically with direct neighbors so that a broader view of network state can be incorporated. Experimental results manifest that our multi-agent DRL policy can strike the delicate balance between congestion-aware and shortest routes, and significantly reduce the packet delivery time in general network topologies compared with its counterparts.

연구 동기 및 목표

• 스케일이 가능한 분산 학습과 풍부한 상태 표현을 가능하게 함으로써 패킷 라우팅을 위한 강화학습에서 차원의 극복 문제를 해결하기 위해.
• 지역 관측치와 최소한의 조율만을 사용하여 최단경로 효율성과 혼잡 회피를 균형 잡은 완전 분산형 라우팅 정책을 설계하기 위해.
• 딥러닝을 활용해 정확한 지연 추정과 적응형 의사결정을 가능하게 하여 기존의 Q-라우팅 및 백프레셔 방법을 향상시키기 위해.
• 통신 간격과 아키텍처 구성 요소(LSTM, 공유 상태)가 다이나믹한 네트워크 토폴로지에서 라우팅 성능에 미치는 영향을 평가하기 위해.

제안 방법

• 각 라우터는 고차원 입력(예: HOL 패킷 목적지, 백로그된 패킷 수, 액션 이력, 이웃 큐 상태 등)을 처리하기 위해 장기 단기 기억(LSTM) 순환 신경망을 갖춘 딥 Q-네트워크를 사용한다.
• LSTM 네트워크는 Q-러닝을 위한 Q-값 함수를 근사함으로써 시간에 따른 라우팅 결정 및 혼잡 패턴의 시간적 모델링을 가능하게 한다.
• 라우터들은 직접 연결된 이웃과 주기적으로 통신하여 큐 길이 및 목적지 정보를 공유함으로써 중앙 집중식 조율 없이도 지역 상태 인식을 넓힌다.
• 보상 신호는 패킷 전달 시간의 역수로 정의되며, 이는 정책 학습을 종단 간 지연을 최소화하는 데로 이끈다.
• 이 프레임워크는 완전히 탈중앙화된 방식으로 학습되며, 각 에이전트는 지역 관측치와 공유된 상태 업데이트만을 사용해 독립적으로 학습한다.
• 제거 실험을 통해 LSTM, 통신, 입력 표현 방식의 기여도를 평가하기 위해 DQRC의 변종(해당 구성 요소가 있는/없는)을 비교한다.

실험 결과

연구 질문

• RQ1 DRL 에이전트에 LSTM을 포함시킬 경우, 표준 Q-네트워크에 비해 라우팅 정책 학습에 어떤 개선 효과를 가져오는가?
• RQ2 주기적인 에이전트 간 통신이 전달 시간 및 혼잡 제어 측면에서 라우팅 성능에 어떤 영향을 미치는가?
• RQ3 다양한 네트워크 토폴로지와 트래픽 패턴에서 DQRC는 Q-라우팅 및 백프레셔와 같은 기준 방법에 비해 어떻게 비교되는가?
• RQ4 입력 특징의 설계(예: HOL, 백로그, 이웃 상태 등)가 라우팅 정책의 학습 효율성과 최종 성능에 어느 정도의 영향을 미치는가?

주요 결과

• DQRC는 다양한 네트워크 토폴로지와 트래픽 조건에서 백프레셔 알고리즘 대비 평균 패킷 전달 시간을 50% 이상 감소시킨다.
• 통신 간격이 길어질수록 평균 전달 시간은 점진적으로 증가하지만, 5ms 간격에서도 백프레셔 성능의 절반 이하로 유지되어 비실시간 환경에서도 뛰어난 내구성을 보인다.
• LSTM 레이어를 제거하면 평균 전달 시간이 10% 증가하여, 시간적 의존성과 혼잡 추세 모델링에서 LSTM의 핵심적 역할을 확인할 수 있다.
• 에이전트 간 통신을 제거하거나 현재 목적지 정보만을 입력으로 사용할 경우 성능 저하가 심각하게 발생하여 공유된 상태 정보의 가치를 확인할 수 있다.
• DQR(입력 버전 단순화형)와 Q-라우팅은 유사한 성능을 보이며, 더 풍부한 입력 특징이 없이 단순한 신경망 기반 Q-테이블 근사화만으로는 지연 추정 성능 향상이 이루어지지 않음을 시사한다.
• 제안된 DQRC 프레임워크는 최단경로 라우팅과 혼잡 인식 전달 간의 균형을 더 잘 이룩하여, 다이나믹한 환경에서 Q-라우팅과 백프레셔를 모두 능가하는 성능을 달성한다.