[논문 리뷰] Realtime Scheduling and Power Allocation Using Deep Neural Networks

Shenghe Xu, Pei Liu외 2명|arXiv (Cornell University)|2018. 11. 18.

Advanced MIMO Systems Optimization참고 문헌 21인용 수 5

한 줄 요약

이 논문은 밀도 높은 5G 소셀 네트워크에서 실시간 링크 스케줄링 및 전력 할당을 가능하게 하기 위해 딥 강화학습과 딥 신경망(DNN) 프레임워크를 제안한다. 딥 Q네트워크(DQN)는 최적의 스케줄링 정책을 학습하고, DNN는 동적 전력 할당을 수행한다. 기하학적 프로그래밍(GP)을 사용한 완전 탐색 대비 성능 손실 9% 미만으로 170,000배 이상의 속도 향상을 달성한다.

ABSTRACT

With the increasing number of base stations (BSs) and network densification in 5G, interference management using link scheduling and power control are vital for better utilization of radio resources. However, the complexity of solving link scheduling and the power control problem grows exponentially with the number of BS. Due to high computation time, previous methods are useful for research purposes but impractical for real time usage. In this paper we propose to use deep neural networks (DNNs) to approximate optimal link scheduling and power control for the case with multiple small cells. A deep Q-network (DQN) estimates a suitable schedule, then a DNN allocates power for the corresponding schedule. Simulation results show that the proposed method achieves over five orders of magnitude speed-up with less than nine percent performance loss, making real time usage practical.

연구 동기 및 목표

• 밀도 높은 5G 소셀 네트워크에서 실시간 링크 스케줄링 및 전력 제어의 높은 계산 복잡도 문제를 해결한다.
• 스케줄링 조합의 지수적 증가와 기하학적 프로그래밍(GP)을 사용한 완전 탐색의 비현실적인 계산 시간을 극복한다.
• 완전 탐색 대신 딥 러닝 기반 스케줄링 및 전력 할당으로 실시간 운영을 가능하게 한다.
• 간섭 제약 조건 하에서 동적 가중치 합산율 최대화(WSRMax)를 통해 스펙트럼 효율을 향상시킨다.
• 딥 강화학습과 DNN가 근사 최적 해를 극도로 감소된 지연 시간으로 근사할 수 있음을 보여준다.

제안 방법

• 채널 상태 정보와 사용자 가중치를 기반으로 다수의 소셀에서 최적의 업링크/다운링크 전송 스케줄링을 선택하기 위해 딥 Q네트워크(DQN)를 훈련한다.
• 별도의 DNN을 훈련하여 각 스케줄링된 링크에 대한 최적의 전력 할당을 계산하고, 간섭 및 전력 제약 조건 하에서 가중치 합산율(WSR)을 최대화한다.
• DQN은 DNN가 생성한 WSR 값을 사용하여 훈련되며, 스케줄링이 정확한 전력 할당에 의존하는 계층적 학습 파이프라인을 형성한다.
• 정확도 향상을 위해 DQN의 상위 5개 스케줄링 결과를 DNN를 사용해 평가하고, 그 중 최고의 결과를 선택한다. 이를 DQN-DNN-5로 표기한다.
• 완전 탐색(GP), 무작위 스케줄링, 그리고 GP를 사용한 게리쉬 스케줄링과의 비교를 위해 기준선과 평가한다.
• 모든 모델은 사용자 및 기지국 위치가 다양하게 설정된 시뮬레이션된 5G 소셀 시나리오를 사용해 훈련 및 테스트한다.

실험 결과

연구 질문

• RQ1 간섭 제한이 있는 다셀 5G 네트워크에서 딥 Q네트워크(DQN)가 근사 최적의 스케줄링 정책을 효과적으로 학습할 수 있는가?
• RQ2 딥 신경망(DNN)이 주어진 스케줄링에 대해 최적의 전력 할당을 정확히 근사하여 낮은 지연 시간으로 높은 WSR을 달성할 수 있는가?
• RQ3 완전 탐색을 DNN 기반 스케줄링 및 전력 제어로 대체할 경우, 계산 속도와 성능 손실 간의 트레이드오프는 어떠한가?
• RQ4 GP 또는 DNN 기반 전력 제어와 조합된 DQN 기반 스케줄링의 성능은 게리쉬 또는 무작위 스케줄링보다 어떻게 다른가?
• RQ5 사전 훈련된 DNN에서 생성된 WSR 값을 사용해 DQN을 효과적으로 훈련시킬 수 있는가? 이는 스케줄링 및 전력 할당의 종단 간 학습을 가능하게 하는가?

주요 결과

• DQN-DNN-5 방법은 기하학적 프로그래밍(GP)을 사용한 완전 탐색 대비 평균 실행 시간을 1615.34초에서 0.0090초로 줄여 170,000배의 속도 향상을 달성한다.
• DQN-DNN-5 방법은 최적의 완전 탐색(GP) 대비 가중치 합산율(WSR)에서 8.66%의 성능 손실만을 보인다.
• 모든 가능한 스케줄링을 DNN를 사용해 평가하는 Max-DNN 방법은 4.5배의 속도 향상을 달성했고, 성능 손실은 5.71%였다.
• DQN-GP 방법은 4배의 속도 향상을 기록했고, 성능 손실은 6.11%였다. 이는 DQN에 의해 스케줄링된 입력이 랜덤 또는 게리쉬 스케줄링보다 평균 8.77회의 GP 반복만으로도 해결 가능함을 보여준다.
• DNN가 생성한 WSR 값을 사용해 훈련된 DQN은 GP로 해결하기에 빠르고, 동시에 높은 스펙트럼 효율을 제공하는 스케줄링을 선택하는 데 성공한다.
• DQN-DNN 방법만으로도 16.16%의 성능 손실과 0.0074초의 추론 시간을 기록했으며, 이는 연계 학습이 높은 손실을 수반하더라도 실용적일 수 있음을 보여준다.