[논문 리뷰] Multi-Agent Q-Learning Aided Backpressure Routing Algorithm for Delay Reduction

Juntao Gao, Yulong Shen외 2명|arXiv (Cornell University)|2017. 08. 23.

Network Traffic and Congestion Control인용 수 5

한 줄 요약

이 논문은 각 노드가 인접 노드로부터의 국소 정보만을 사용하여 경로 혼잡도를 추정할 수 있도록 하는 다중 에이전트 Q-학습 기반 백프레셔(BP) 라우팅 알고리즘(QL-BP)을 제안한다. 이는 기존의 최상위 수준의 BPmin 알고리즘 대비 지연 성능을 크게 향상시킨다. 경량 교통 조건에서는 평균 패킷 지연을 95% 감소시키고, 중간 정도의 교통 조건에서는 41% 감소시키며, 분산 운영, 낮은 계산 복잡도, 스루풋 최적성은 유지하면서 국소 큐 길이 및 라우팅 데이터를 이용해 반복적으로 혼잡도 추정을 정교화하는 분산형 Q-학습 에이전트를 통해 달성된다.

ABSTRACT

In queueing networks, it is well known that the throughput-optimal backpressure routing algorithm results in poor delay performance for light and moderate traffic loads. To improve delay performance, state-of-the-art backpressure routing algorithm (called BPmin [1]) exploits queue length information to direct packets to less congested routes to their destinations. However, BPmin algorithm estimates route congestion based on unrealistic assumption that every node in the network knows real-time global queue length information of all other nodes. In this paper, we propose multi-agent Q-learning aided backpressure routing algorithm, where each node estimates route congestion using only local information of neighboring nodes. Our algorithm not only outperforms state-of-the-art BPmin algorithm in delay performance but also retains the following appealing features: distributed implementation, low computation complexity and throughput-optimality. Simulation results show our algorithm reduces average packet delay by 95% for light traffic loads and by 41% for moderate traffic loads when compared to state-of-the-art BPmin algorithm.

연구 동기 및 목표

• 경량 및 중간 정도의 교통 부하에서 전통적인 백프레셔 라우팅이 지나친 경로 탐색으로 인해 긴 지연을 유발하는 문제를 해결하기 위해.
• BPmin에서 노드가 혼잡도 추정을 위해 실시간 전역 큐 길이 정보가 필요하다는 비현실적인 가정을 극복하기 위해.
• 전역 정보에 의존하지 않고도 분산형, 저복잡도 라우팅 알고리즘을 설계하여 스루풋 최적성을 유지하면서 지연 성능을 크게 향상시키기 위해.
• 애드 hoc 및 센서 네트워크와 같은 동적 네트워크에서의 확장성 있고 실용적인 구현을 가능하게 하기 위해 전역 상태 지식에 의존하지 않도록 하기 위해.

제안 방법

• 각 네트워크 노드는 인접 노드로부터의 국소 정보를 기반으로 경로 혼잡도를 추정하는 데 전담된 다수의 Q-학습 에이전트를 배치한다.
• 각 Q-학습 에이전트는 인접 노드의 실시간 큐 길이 및 혼잡도 추정치를 사용하여 Q-학습 업데이트 규칙에 따라 혼잡도 추정치를 갱신한다.
• 알고리즘은 큐 길이와 라우팅 결정의 가중합을 사용하여 패킷을 덜 혼잡한 경로로 유도함으로써 지연을 최소화하면서도 스루풋 최적성을 유지한다.
• Q-학습 에이전트는 분산 방식으로 작동하여 각 노드가 중앙 집중식 조율 없이도 독립적으로 라우팅 결정을 내릴 수 있도록 한다.
• 지속적인 국소 피드백 학습을 통해 라우팅 선택에서 탐색과 이용의 균형을 동적으로 조절함으로써 시간이 지남에 따라 혼잡도 추정이 향상된다.
• 알고리즘이 고전적 백프레셔와 동일한 조건 하에서 스루풋 최적성을 유지함을 수학적으로 증명하였다. 이는 전적으로 국소 정보에 의존함에도 불구하고 성립한다.

실험 결과

연구 질문

• RQ1 전역 큐 길이 정보를 요구하지 않으면서도 BPmin보다 현저히 낮은 지연을 달성할 수 있는 백프레셔 라우팅 알고리즘이 존재하는가?
• RQ2 다중 에이전트 Q-학습을 통한 국소적 분산 혼잡도 추정은 큐잉 네트워크에서 지연 성능을 어떻게 향상시킬 수 있는가?
• RQ3 Q-학습 기반 국소 추정은 전역 상태 정보에 의존하는 알고리즘에 비해 어느 정도 성능을 충족하거나 초월할 수 있는가?
• RQ4 제안된 알고리즘은 경량 및 중간 정도의 교통 조건에서 지연을 감소시키면서도 스루풋 최적성을 유지하는가?
• RQ5 완전히 분산된 라우팅 아키텍처에서 지연 감소와 계산 복잡도 사이의 상호 교환 관계는 어떠한가?

주요 결과

• 제안된 QL-BP 알고리즘은 경량 교통 조건에서 BPmin 대비 평균 패킷 지연을 95% 감소시킨다.
• 중간 정도의 교통 조건에서 QL-BP 알고리즘은 BPmin 대비 평균 패킷 지연을 41% 감소시킨다.
• 알고리즘은 스루풋 최적성을 유지하여 동적이고 불확실한 조건에서도 최대 네트워크 용량 활용을 보장한다.
• 전적으로 국소 정보만을 사용함으로써 확장성 있고 분산된 배포가 가능해지며, 전역 상태 교환의 필요성을 제거한다.
• 시뮬레이션 결과는 QL-BP 알고리즘이 BPmin보다 지연과 확장성 면에서 뛰어나며, 특히 저~중간 부하 범위에서 두각을 나타낸다.
• Q-학습 에이전트가 안정된 혼잡도 추정치로 수렴하는 것은 실험적으로 검증되었으며, 다양한 네트워크 구조에서 일관된 성능 향상이 관찰되었다.