[논문 리뷰] Dynamic Channel Access and Power Control in Wireless Interference Networks via Multi-Agent Deep Reinforcement Learning

Ziyang Lu, Zhong Chen외 1명|arXiv (Cornell University)|2021. 12. 24.

Full-Duplex Wireless Communications인용 수 6

한 줄 요약

이 논문은 무선 간섭 네트워크에서 동적 채널 접근과 전력 제어를 위한 다중 에이전트 딥 강화 학습(DRL) 프레임워크를 제안한다. 가치 기반 DQN과 정책 기반 강화 학습 알고리즘을 사용한 중심화된 훈련을 통해, WMMSE와 완전 탐색 방법의 최적 성능 약 90%를 달성하며, 피어드 훈련을 통한 분산 학습은 정보 공유를 최소화하고 사용자 프라이버시를 보존하면서 유사한 성능을 달성한다.

ABSTRACT

Due to the scarcity in the wireless spectrum and limited energy resources especially in mobile applications, efficient resource allocation strategies are critical in wireless networks. Motivated by the recent advances in deep reinforcement learning (DRL), we address multi-agent DRL-based joint dynamic channel access and power control in a wireless interference network. We first propose a multi-agent DRL algorithm with centralized training (DRL-CT) to tackle the joint resource allocation problem. In this case, the training is performed at the central unit (CU) and after training, the users make autonomous decisions on their transmission strategies with only local information. We demonstrate that with limited information exchange and faster convergence, DRL-CT algorithm can achieve 90% of the performance achieved by the combination of weighted minimum mean square error (WMMSE) algorithm for power control and exhaustive search for dynamic channel access. In the second part of this paper, we consider distributed multi-agent DRL scenario in which each user conducts its own training and makes its decisions individually, acting as a DRL agent. Finally, as a compromise between centralized and fully distributed scenarios, we consider federated DRL (FDRL) to approach the performance of DRL-CT with the use of a central unit in training while limiting the information exchange and preserving privacy of the users in the wireless system. Via simulation results, we show that proposed learning frameworks lead to efficient adaptive channel access and power control policies in dynamic environments.

연구 동기 및 목표

• 제한된 스펙트럼과 에너지원을 가진 고밀도이고 동적인 무선 간섭 네트워크에서 자원 할당의 효율성을 높이기 위한 과제를 해결한다.
• 전체 시스템 지식이 필요하고 네트워크 크기가 증가함에 따라 성능이 급격히 떨어지는 전통적인 모델 기반 최적화 방법의 한계를 극복한다.
• 사용자가 지역 정보에 기반해 자율적이고 국소적인 의사결정을 내릴 수 있도록 확장 가능하고 적응 가능한 학습 프레임워크를 개발한다.
• 중앙집중형 훈련과 완전히 분산된 훈련 사이의 타협으로서, 피어드 DRL을 통해 성능, 통신 비용, 사용자 프라이버시 간의 균형을 확보한다.
• 채널 조건이 시간이 지남에 따라 느리지만 상당히 변화하는 동적인 환경에서도 성능이 우수함을 입증한다.

제안 방법

• 중심화된 훈련(DRL-CT) 프레임워크를 제안하며, 중앙 제어 장치가 가치 기반 DQN과 정책 기반 강화 학습 알고리즘을 사용해 DRL 에이전트를 훈련한다. 보상 함수는 총 데이터율 최적화 또는 비율 공정성 최적화를 위해 특화되어 있다.
• 다중 에이전트 DRL 아키텍처를 도입하여 각 사용자가 훈련 후 지역 관측 정보에 기반해 독립적으로 의사결정을 내리는 독립된 DRL 에이전트로 작동한다.
• 중앙집중형 훈련 성능을 모방하면서도 정보 교환을 최소화하고 사용자 프라이버시를 보존하기 위해 피어드 DRL(FDRL)을 도입한다.
• FDRL에서 정보 교환을 위해 저정밀도 양자화와 디지털 전용 통신을 사용하여, 100회 반복 동안 중심화된 훈련 대비 약 61%의 통신 오버헤드 감소를 달성한다.
• 다양한 시간 상수(Tv)를 가진 상관관계가 있는 레일리 fading 채널을 사용해 현실적인, 천천히 변화하는 채널 조건을 시뮬레이션하는 동적 환경 모델을 설계한다.
• 상태 공간에 채널 상태 정보, 사용자 활성화 상태, 전력 수준을 포함하고 행동 공간에 채널 선택 및 전력 할당을 포함하는 마르코프 결정 과정(MDP) 수식을 사용한다.

실험 결과

연구 질문

• RQ1 전체 네트워크 상태 지식이 필요 없이도 다중 에이전트 DRL 프레임워크가 동적 채널 접근과 전력 제어에서 최적에 가까운 성능를 달성할 수 있는가?
• RQ2 중심화된 훈련을 통한 DRL의 성능가 WMMSE나 완전 탐색과 같은 전통적 최적화 방법에 비해 총 데이터율과 수렴 속도 측면에서 어떻게 비교되는가?
• RQ3 무선 네트워크의 분산 DRL 훈련에서 성능, 통신 비용, 프라이버시 간의 상호 보완적 트레이드오프는 어떠한가?
• RQ4 채널 조건이 느리지만 상당히 변화하는 동적 환경에서 훈련된 DRL 정책의 일반화 능력과 적응 능력은 어떻게 영향을 받는가?
• RQ5 피어드 DRL이 정보 교환을 줄이고 사용자 데이터를 보호하면서도 중심화된 훈련의 성능을 효과적으로 재현할 수 있는가?

주요 결과

• DRL-CT 프레임워크는 전력 제어에 WMMSE를, 채널 접근에 완전 탐색을 사용한 최적 성능의 약 90%를 달성한다.
• 동적 채널 접근 외에 전력 제어를 도입함으로써 채널 접근만으로는 달성할 수 없는 총 데이터율 향상이 뚜렷하게 향상된다.
• 전통적 최적화 방법보다 DRL-CT 알고리즘이 더 빠르게 수렴하고 정보 교환도 적게 요구하여 실시간 구현에 적합하다.
• 동적 환경에서, 정적 조건에서 훈련된 DRL 에이전트도 여전히 천천히 변화하는 채널에 잘 일반화되어 있어 뛰어난 적응 능력을 보인다.
• 피어드 DRL은 중심화된 훈련 대비 약 61%의 디지털 정보 교환 감소를 이끌었으며, 뛰어난 성능 유지 성능도 확보했다.
• DDRL은 동적 환경에서 성능 저하를 겪지만, 사용자 간 협업을 통해 피어드 평균화를 적용하면 정책의 일반화 능력과 적응 능력이 향상된다.