[논문 리뷰] Power Allocation in Multi-User Cellular Networks: Deep Reinforcement Learning Approaches

Fan Meng, Peng Chen외 2명|arXiv (Cornell University)|2019. 01. 22.

Advanced MIMO Systems Optimization참고 문헌 38인용 수 14

한 줄 요약

이 논문은 다중 사용자 셀룰러 네트워크에서 이웃셀 간 간섭을 고려한 분산 전력 할당을 위해 딥 강화학습(DRL) 기반 접근법—구체적으로 REINFORCE, DQN, DDPG를 제안한다. DDPG 기반 방법은 합산 속도, 일반화 능력 및 계산 효율성 측면에서 모델 기반 기준보다 뛰어나며, 사용자 밀도와 도플러 이동에 대해 뛰어난 내성성을 보여준다.

ABSTRACT

The model-based power allocation algorithm has been investigated for decades, but it requires the mathematical models to be analytically tractable and it usually has high computational complexity. Recently, the data-driven model-free machine learning enabled approaches are being rapidly developed to obtain near-optimal performance with affordable computational complexity, and deep reinforcement learning (DRL) is regarded as of great potential for future intelligent networks. In this paper, the DRL approaches are considered for power control in multi-user wireless communication cellular networks. Considering the cross-cell cooperation, the off-line/on-line centralized training and the distributed execution, we present a mathematical analysis for the DRL-based top-level design. The concrete DRL design is further developed based on this foundation, and policy-based REINFORCE, value-based deep Q learning (DQL), actor-critic deep deterministic policy gradient (DDPG) algorithms are proposed. Simulation results show that the proposed data-driven approaches outperform the state-of-art model-based methods on sum-rate performance, with good generalization power and faster processing speed. Furthermore, the proposed DDPG outperforms the REINFORCE and DQL in terms of both sum-rate performance and robustness, and can be incorporated into existing resource allocation schemes due to its generality.

연구 동기 및 목표

• 이웃셀 간 간섭이 존재하는 고밀도 다중 사용자 셀룰러 네트워크에서의 전력 할당 문제를 해결한다.
• 해석적으로 다룰 수 있는 채널 모델에 의존하고 계산 복잡도가 높은 전통적인 모델 기반 방법의 한계를 극복한다.
• 다양한 네트워크 조건과 사용자 밀도에 일반화 가능한 데이터 기반, 모델 불필요 DRL 솔루션을 개발한다.
• 미래 지능형 무선 네트워크에서 실시간 구현이 가능한 분산형, 확장 가능한 DRL 프레임워크를 설계한다.

제안 방법

• 강화학습을 가능하게 하기 위해 전력 할당 문제를 마르코프 결정 과정(MDP)으로 수식화한다.
• 정책 기반 REINFORCE, 가치 기반 DQN, 액터-크리틱 DDPG를 사용한 세 가지 DRL 알고리즘을 구현하며, 연속적 행동 공간에 적합하다.
• 각 액세스 포인트(AP)가 독립된 에이전트로 작동하는 분산 실행 프레임워크를 설계하여 확장성과 지연 감소를 달성한다.
• ReLU 활성화 함수와 병렬 계산에 최적화된 행렬 연산을 사용하여 가치 함수와 정책을 근사하는 딥 신경망(DNN)을 적용한다.
• 탐색과 이용의 균형을 맞추기 위해 오프라인 및 온라인 학습 전략을 사용하여 DRL 에이전트를 훈련시킨다.
• 로버스트성을 향상시키기 위해 채널 상태 정보(CSI), 사용자 위치, 도플러 이동을 상태 입력으로 통합한다.

실험 결과

연구 질문

• RQ1 DRL 기반 전력 할당이 다중 사용자 셀룰러 네트워크에서 최신 모델 기반 방법보다 뛰어난 합산 속도 성능을 달성할 수 있는가?
• RQ2 제안된 DRL 프레임워크는 다양한 사용자 밀도와 도플러 주파수에서 어떻게 일반화되는가?
• RQ3 기존의 FP 및 WMMSE와 같은 전통적 모델 기반 방법에 비해 DRL 기반 알고리즘의 계산 효율성은 어떠한가?
• RQ4 액터-크리틱 DDPG 알고리즘이 성능 및 내성성 측면에서 정책 기반 및 가치 기반 DRL 방법보다 뛰어나게 성능을 높이는 이유는 무엇인가?

주요 결과

• DDPG 기반 전력 할당 알고리즘이 평가된 모든 DRL 방법 중에서 가장 높은 합산 속도 성능을 기록하며, 모델 기반 기준보다 뛰어나다.
• 모든 DRL 기반 접근법은 사용자 밀도가 1~8명/셀로 변동하는 조건에서도 잘 일반화되며, 간섭 증가에도 불구하고 높은 성능를 유지한다.
• DRL 방법들은 도플러 주파수 변화(4 Hz ~ 18 Hz)에 대해 강건성을 보이며, 합산 속도가 서서히 감소하는 정도로만 영향을 받는 것으로 나타나, 빠른 페이딩에 대한 내성성이 뛰어나다.
• CPU에서 실행했을 때 DRL 알고리즘은 약 15.5배 빠른 FP 및 약 61.0배 빠른 WMMSE보다 훨씬 낮은 계산 시간을 기록한다.
• 배치 처리가 제한된 분산 환경에서 GPU 실행 시간이 다소 증가하지만, 병렬 처리가 가능한 행렬 연산과 ReLU 활성화 함수 덕분에 DNN 기반 추론은 여전히 효율적이다.
• DDPG 알고리즘은 이산 행동 공간에서 발생하는 양자화 오차를 제거하여, DQN 및 REINFORCE보다 연속적 전력 할당 작업에서 더 뛰어난 성능를 기록한다.