[논문 리뷰] A Deep Q-Learning Method for Downlink Power Allocation in Multi-Cell Networks

Kazi Ishfaq Ahmed, Ekram Hossain|arXiv (Cornell University)|2019. 04. 30.

Advanced MIMO Systems Optimization참고 문헌 19인용 수 29

한 줄 요약

이 논문은 다중 셀 네트워크에서 다운링크 전력 할당을 위한 중심집중식 딥 Q러닝(Deep Q-Learning, DQL) 프레임워크를 제안한다. 이는 피크 전력 제약 조건 하에서 전체 네트워크의 전송률을 최대화하기 위해 설계되었으며, 문제를 마르코프 결정 과정(Markov Decision Process, MDP)으로 공식화하고 경험 재생(Experience Replay)과 딥 Q네트워크를 사용함으로써 레이블이 부여된 학습 데이터가 필요 없이 근사 최적 성능를 달성한다. 기존의 WMMSE 및 무작위 할당과 같은 전통적 방법보다 뛰어난 성능을 보이며, 대규모 시나리오에서 최적해에 가까운 해를 기반으로 한 유사 최적해(GA 기반)의 99.2% 수준의 정규화된 전송률을 달성한다.

ABSTRACT

Optimal resource allocation is a fundamental challenge for dense and heterogeneous wireless networks with massive wireless connections. Because of the non-convex nature of the optimization problem, it is computationally demanding to obtain the optimal resource allocation. Recently, deep reinforcement learning (DRL) has emerged as a promising technique in solving non-convex optimization problems. Unlike deep learning (DL), DRL does not require any optimal/ near-optimal training dataset which is either unavailable or computationally expensive in generating synthetic data. In this paper, we propose a novel centralized DRL based downlink power allocation scheme for a multi-cell system intending to maximize the total network throughput. Specifically, we apply a deep Q-learning (DQL) approach to achieve near-optimal power allocation policy. For benchmarking the proposed approach, we use a Genetic Algorithm (GA) to obtain near-optimal power allocation solution. Simulation results show that the proposed DRL-based power allocation scheme performs better compared to the conventional power allocation schemes in a multi-cell scenario.

연구 동기 및 목표

• 밀도 높은 다중 셀 네트워크에서 매크로셀 연결 수가 많은 상황에서 비볼록적이고 NP-완전한 다운링크 전력 할당 문제를 해결하기 위해.
• 대규모 시스템에서 전형적인 휴리스틱 방법(예: 전수 탐색 및 유전 알고리즘(GA))의 계산 비용이 지나치게 높아지는 문제를 해결하기 위해.
• 감독 학습에 필요한 최적 또는 근사 최적의 학습 데이터셋이 필요 없는 데이터 효율적인 강화 학습 솔루션을 개발하기 위해.
• 전체 네트워크 전송률을 최대화하기 위한 확장 가능한 중심집중식 DQL 기반 전력 할당 정책을 설계하기 위해.
• 다양한 네트워크 크기와 하이퍼파라미터에 걸쳐 DRL 접근법의 강인성과 확장성 평가하기 위해.

제안 방법

• 상태, 행동, 보상 공간을 정의한 마르코프 결정 과정(Markov Decision Process, MDP)으로 전력 할당 문제를 공식화한다.
• 고차원 상태-행동 공간을 다룰 수 있도록 하나의 은닉층을 가진 딥 Q네트워크(Deep Q-Network, DQN)를 사용하여 행동-가치 함수(Q-function)를 근사한다.
• DQL 알고리즘의 학습 안정성과 샘플 효율성을 향상시키기 위해 경험 재생(Experience Replay)과 타겟 네트워크를 적용한다.
• DQN 학습을 위해 RMSprop 최적화기와 평균 제곱오차(Mean Squared Error, MSE) 손실 함수를 사용한다.
• 작은 네트워크의 경우 학습률을 0.0025로, 더 큰 네트워크의 경우 0.025로 설정하였으며, 이는 경험적 성능 기반으로 결정되었다.
• 고정된 최대 하나의 서브밴드당 전력(12.8 W)을 설정하고, 보상으로 전체 네트워크의 전송률을 정의한다.

실험 결과

연구 질문

• RQ1 감독 학습에 필요한 레이블이 부여된 학습 데이터 없이 DRL 기반 접근법이 다중 셀 네트워크에서 근사 최적의 전력 할당을 달성할 수 있는가?
• RQ2 네트워크 크기(셀의 수) 증가에 따라 제안된 DQL 방법의 성능는 어떻게 변화하는가?
• RQ3 학습률 및 은닉층 크기와 같은 핵심 하이퍼파라미터가 DRL 모델의 성능에 미치는 영향은 무엇인가?
• RQ4 WMMSE, 최대 전력 할당, 무작위 할당과 같은 전통적 방법과 비교했을 때 DQL 기반 전력 할당의 전송률 성능는 어떠한가?
• RQ5 재학습 없이도 DRL 모델이 다양한 네트워크 시나리오에 효과적으로 일반화될 수 있는가?

주요 결과

• 제안된 DQL 기반 전력 할당 기법은 시나리오-1(작은 네트워크)에서 GA 기반 근사 최적해의 평균 정규화된 전송률 99.276%를 달성하여 뛰어난 성능를 보였다.
• 네트워크 크기가 증가함에 따라 전송률이 약간 저하되었으며, 시나리오-3(더 큰 네트워크)에서는 99.109%로 감소하였다. 이는 상태 공간과 행동 공간의 복잡도 증가로 인한 것이다.
• 최적의 학습률는 네트워크 크기에 따라 달라지며, 작은 네트워크에서는 0.0025, 더 큰 네트워크에서는 0.025로 설정되어 하이퍼파라미터 튜닝에 민감함을 보였다.
• DQN의 은닉층 수를 늘릴수록 과적합 및 관련 없는 특징 학습으로 인해 성능 저하가 발생하였다.
• 모든 테스트된 네트워크 시나리오에서 DQL 모델은 WMMSE, 최대 전력 할당, 무작위 전력 할당을 모두 상회하는 일관된 성능를 보였다.
• 감독 학습에서 요구되는 고비용의 학습 데이터 생성 과정을 피하기 때문에, 이 방법은 계산적으로 확장 가능하고 대규모 시나리오에서 효과적이다.