[논문 리뷰] Power Allocation in Multi-user Cellular Networks With Deep Q Learning Approach

Fan Meng, Peng Chen외 1명|arXiv (Cornell University)|2018. 12. 07.

Advanced MIMO Systems Optimization참고 문헌 15인용 수 5

한 줄 요약

이 논문은 간섭 다중접속 채널(IMAC)을 갖는 다중 사용자 이동통신 네트워크에서 전력 배정을 위한 이중 단계 딥 Q학습(DQL) 프레임워크를 제안한다. 현재의 합산 데이터율을 보상 함수로 사용하여 시뮬레이션 환경에서 오프라인으로 딥 Q 네트워크(DQN)를 훈련한 후, 실세계 데이터를 이용해 온라인으로 보정한다. DQN은 평균 합산 데이터율이 가장 높고, 다양한 사용자 밀도에서 강력한 일반화 성능을 보이며, FP 및 WMMSE와 같은 모델 기반 기준보다 뛰어난 성능을 나타낸다.

ABSTRACT

The model-driven power allocation (PA) algorithms in the wireless cellular networks with interfering multiple-access channel (IMAC) have been investigated for decades. Nowadays, the data-driven model-free machine learning-based approaches are rapidly developed in this field, and among them the deep reinforcement learning (DRL) is proved to be of great promising potential. Different from supervised learning, the DRL takes advantages of exploration and exploitation to maximize the objective function under certain constraints. In our paper, we propose a two-step training framework. First, with the off-line learning in simulated environment, a deep Q network (DQN) is trained with deep Q learning (DQL) algorithm, which is well-designed to be in consistent with this PA issue. Second, the DQN will be further fine-tuned with real data in on-line training procedure. The simulation results show that the proposed DQN achieves the highest averaged sum-rate, comparing to the ones with present DQL training. With different user densities, our DQN outperforms benchmark algorithms and thus a good generalization ability is verified.

연구 동기 및 목표

• 간섭 다중접속 채널(IMAC)을 갖는 다중 사용자 이동통신 네트워크에서 비볼록이고 NP-난해한 전력 배정(PA) 문제를 해결한다.
• 높은 계산 복잡도와 채널 모델의 불완전성에 민감한 모델 기반 PA 알고리즘의 한계를 극복한다.
• 다양한 사용자 밀도와 네트워크 조건에서 잘 일반화되는 데이터 기반, 모델 무관의 접근 방식을 개발하기 위해 딥 강화학습(DRL)을 사용한다.
• 미래 보상 없이 현재의 합산 데이터율을 최대화하는 DQN 기반 프레임워크를 설계하여 실시간 전력 제어의 효율성을 높인다.
• 오프라인 중심 훈련과 온라인 분산 실행, 전이 학습을 조합함으로써 실용적인 구현을 가능하게 한다.

제안 방법

• 상태는 현재의 CSI(채널 상태 정보)로 정의되고, 행동은 각 사용자에 대한 전력 수준로 정의되는 마르코프 결정 과정(MDP)으로 PA 문제를 수립한다.
• 채널 이득, 간섭, 사용자별 전력 제약 조건을 반영한 입력 특징을 갖는 딥 Q 네트워크(DQN)를 설계하여 각 행동에 대한 Q-값을 추정한다.
• 현재의 합산 데이터율에 기반한 보상 함수를 사용하여 딥 Q학습(DQL)을 통해 DQN을 훈련한다: $ R = rac{1}{K} ext{sum} ig( ext{log}_2(1 + ext{SINR}) ig) $, 미래 보상 없이(할인 요소 $ ho = 0 $).
• 이중 단계 훈련 전략을 구현: 첫째, 시뮬레이션된 IMAC 환경에서 오프라인 DQN 훈련; 둘째, 전이 학습을 통해 실세계 데이터를 이용한 온라인 보정.
• 훈련 안정성을 위해 경험 재생과 타겟 네트워크를 사용하며, 수렴성과 성능을 고려해 하이퍼파라미터를 조정한다(예: 메모리 크기 50,000, 배치 크기 256).
• 다양한 네트워크 구성(각 셀당 사용자 수 K = 1, 2, 4, 6)에서 훈련된 DQN을 분산 모드로 테스트한다.

실험 결과

연구 질문

• RQ1 모델 무관의 딥 강화학습 접근 방식이 전통적인 모델 기반 PA 알고리즘보다 다중 사용자 이동통신 네트워크에서 합산 데이터율과 일반화 능력 측면에서 뛰어나게 되는가?
• RQ2 할인 요소 $ \rho $ 의 선택이 현재 합산 데이터율 보상 함수를 갖는 전력 배정 과제에서 DQN의 성능에 어떤 영향을 미치는가?
• RQ3 시뮬레이션에서 훈련된 DQN이 동적 사용자 분포와 변화하는 채널 조건을 갖는 실세계 시나리오로의 일반화 능력은 어느 정도인가?
• RQ4 제안된 이중 단계 훈련 프레임워크—오프라인 시뮬레이션 이후 온라인 보정—은 실용적 구현에서 DQN의 강인성과 성능을 향상시키는가?
• RQ5 특히 세포 내 간섭이 증가할 경우, 다양한 사용자 밀도에서 DQN의 성능은 어떻게 되는가?

주요 결과

• 할인 요소 $ \rho = 0 $로 훈련된 DQN은 모든 테스트 시나리오에서 가장 높은 평균 합산 데이터율을 달성하며, 비영구적 $ \rho $를 사용한 DQN은 지연 보상 효과로 인해 성능이 열 劣화된다.
• DQN은 모든 사용자 밀도 설정(K = 1, 2, 4, 6)에서 가장 높은 평균 합산 데이터율을 기록하며, K = 4에서만 훈련된 경우에도 강력한 일반화 능력을 보여준다.
• 비최적화 기법(예: 무작위 또는 최대 전력 배정)과 최적화 알고리즘(FP, WMMSE, DQN) 간의 성능 격차는 사용자 밀도가 높아질수록 커지며, 밀도가 높은 네트워크에서 지능형 PA의 이점이 더 두드러진다.
• DQN의 성능은 시뮬레이션에서 1,000개의 타임 슬롯 동안 안정적이며, FP 및 WMMSE에 비해 수렴이 부드럽고 변동이 적다.
• DQN의 추론 시간은 네트워크 깊이에 비례하여 선형적으로 증가하며, GPU를 통해 효율적으로 가속화되어 실시간 구현에 적합하다.
• 시뮬레이션 결과는 DQN의 성능가 감독 학습에서처럼 지도자가 제한되지 않으며, 환경 피드백에서 직접 학습함으로써 동적이고 알 수 없는 채널 조건에 적응할 수 있음을 확인한다.