[논문 리뷰] When Multiple Agents Learn to Schedule: A Distributed Radio Resource Management Framework

Navid Naderializadeh, Jaroslaw J. Sydir외 3명|arXiv (Cornell University)|2019. 06. 20.

Advanced MIMO Systems Optimization참고 문헌 15인용 수 4

한 줄 요약

이 논문은 밀도 높은 무선 네트워크에서 분산 라디오 자원 관리에 대한 다중 에이전트 딥 강화 학습(DRL) 프레임워크를 제안한다. 여기서 각 액세스 포인트는 국소적이고 지연된 이웃 관측치를 기반으로 링크 스케줄링 결정을 내리는 DQN 에이전트로 작동한다. 이 프레임워크는 평균 및 5번째 백분위수 사용자 스루풋 간 강력한 트레이드오프를 달성하며, 분산 기반 베이스라인을 능가하고 중심화된 완전 탐색 성능에 가까이 접근하면서도 네트워크 밀도 변화에 대해 강건함을 입증한다.

ABSTRACT

Interference among concurrent transmissions in a wireless network is a key factor limiting the system performance. One way to alleviate this problem is to manage the radio resources in order to maximize either the average or the worst-case performance. However, joint consideration of both metrics is often neglected as they are competing in nature. In this article, a mechanism for radio resource management using multi-agent deep reinforcement learning (RL) is proposed, which strikes the right trade-off between maximizing the average and the $5^{th}$ percentile user throughput. Each transmitter in the network is equipped with a deep RL agent, receiving partial observations from the network (e.g., channel quality, interference level, etc.) and deciding whether to be active or inactive at each scheduling interval for given radio resources, a process referred to as link scheduling. Based on the actions of all agents, the network emits a reward to the agents, indicating how good their joint decisions were. The proposed framework enables the agents to make decisions in a distributed manner, and the reward is designed in such a way that the agents strive to guarantee a minimum performance, leading to a fair resource allocation among all users across the network. Simulation results demonstrate the superiority of our approach compared to decentralized baselines in terms of average and $5^{th}$ percentile user throughput, while achieving performance close to that of a centralized exhaustive search approach. Moreover, the proposed framework is robust to mismatches between training and testing scenarios. In particular, it is shown that an agent trained on a network with low transmitter density maintains its performance and outperforms the baselines when deployed in a network with a higher transmitter density.

연구 동기 및 목표

• 초고밀도 무선 네트워크에서 간섭과 불공정한 자원 할당 문제를 해결하기 위해.
• 평균 및 최소 사용자 스루풋을 공정하게 균형 잡는 분산 라디오 자원 관리 메커니즘을 설계하기 위해.
• 학습 및 구현 환경 간 불일치에 강건한 스케일러블하고 견고한 기반 학습 스케줄링 프레임워크를 개발하기 위해.
• 하이브리드 중심화된 훈련 및 분산 추론 아키텍처를 통해 실세계 네트워크에서 DRL 에이전트의 실용적 구현을 가능하게 하기 위해.

제안 방법

• 각 액세스 포인트(AP)는 국소 채널 품질 및 간섭 수준의 부분 관측치를 기반으로 스케줄링 결정을 내리는 딥 Q넷(DQN) 에이전트를 탑재한다.
• 에이전트들은 실제 통신 제약을 반영하기 위해 이웃 AP들로부터 지연되고 희소한 관측치를 수신한다.
• 중심화된 훈련 프레임워크는 모든 에이전트의 경험을 집계하고, 공정성을 확보하기 위해 높은 평균 스루풋과 최소 5번째 백분위수 사용자 속도를 우선시하는 보상 함수를 사용한다.
• 훈련 과정은 재생 버퍼를 사용하며, 중앙 기관에서 주기적으로 가중치를 업데이트하여 학습 안정성과 수렴성을 향상시킨다.
• 프레임워크는 세 단계 통신 아키텍처를 채택한다: 실시간 추론 링크, 중간 빈도의 훈련 데이터 수집, 낮은 빈도의 정책 업데이트 및 일시정지/종료 신호.
• 시스템은 하나의 훈련된 정책이 재훈련 없이도 다양한 네트워크 밀도에 일반화될 수 있도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 다중 에이전트 DRL 프레임워크는 간섭 제한이 있는 무선 네트워크에서 평균 및 최소 사용자 스루풋 간 균형 잡힌 트레이드오프를 달성할 수 있는가?
• RQ2 낮은 밀도 네트워크에서 훈련된 DRL 에이전트가 높은 밀도 환경에 적용되었을 때 얼마나 잘 일반화되는가?
• RQ3 중심화된 훈련과 분산 추론 접근 방식은 동적이고 이질적인 네트워크 조건 하에서도 성능과 공정성을 유지할 수 있는가?
• RQ4 실세계 무선 네트워크에 DRL 기반 스케줄링을 구현할 때의 실용적 과제는 무엇이며, 이를 어떻게 완화할 수 있는가?

주요 결과

• 제안된 DRL 프레임워크는 평균 및 5번째 백분위수 사용자 스루풋 모두에서 전체 재사용 및 시간분할 multiplexing(TDM) 기반 베이스라인을 능가한다.
• 프레임워크는 중심화된 완전 탐색 성능에 매우 가까운 성능을 달성하여 자원 할당에서 거의 최적의 효율성을 보여준다.
• 사용자 수가 4개인 네트워크에서 훈련된 에이전트가 최대 10개의 AP를 포함하는 네트워크에 배포되어도 뛰어난 성능 유지를 보이며, 네트워크 밀도 변화에 대해 매우 높은 강건성을 입증한다.
• 프레임워크는 분포 이질성에 강건하여, 송신기 밀도 및 채널 조건이 훈련 조건과 다를 경우에도 효과적인 성능을 유지한다.
• 지연되고 희소한 이웃 관측치의 사용은 실용적 구현을 가능하게 하면서도 학습 효과성을 유지한다.