[논문 리뷰] Deep Reinforcement Learning for Improving Downlink mmWave Communication Performance

Faris B. Mismar, Brian L. Evans|arXiv (Cornell University)|2017. 07. 10.

Millimeter-Wave Propagation and Modeling인용 수 3

한 줄 요약

이 논문은 실내 밀리미터파(mmWave) 이동통신 환경에서 다운링크 SINR를 최적화하기 위해 깊이 강화학습(DRL) 기반 접근법을 제안한다. 이는 최적의 빔포밍 동작 시퀀스를 학습함으로써 실현 가능한 SINR 향상을 달성한다. 시뮬레이션 결과, 네트워크의 무작위성에도 불구하고 DRL 에이전트가 실현 가능한 SINR 향상을 이룬다는 것이 입증되었으며, 이는 동적인 mmWave 환경에서의 효과성을 입증한다.

ABSTRACT

We propose a method to improve the DL SINR for a single cell indoor base station operating in the millimeter wave frequency range using deep reinforcement learning. In this paper, we use the deep reinforcement learning model to arrive at optimal sequences of actions to improve the cellular network SINR value from a starting to a feasible target value. While deep reinforcement learning has been discussed extensively in literature, its applications in the cellular networks in general and in mmWave propagations are new and starting to gain attention. We have run simulations and have shown that an optimal action sequence is feasible even against the randomness of the network actions.

연구 동기 및 목표

• 단일셀 인Door mmWave 네트워크에서 다운링크 신호 대 간섭 및 노이즈 비율(SINR)을 향상시키기.
• mmWave 통신에서의 동적이고 무작위적인 전파 조건에 도전 과제를 해결하기.
• 목표 SINR 수준에 도달하기 위해 최적의 빔포밍 동작 시퀀스를 학습하는 강화학습 프레임워크 개발하기.
• 실제 네트워크의 무작위성과 간섭 조건 하에서 DRL 접근법의 실현 가능성과 내구성 검증하기.

제안 방법

• mmWave 대역에서 다운링크 SINR를 최대화하는 데 목적이 있는 딥 레이어닝 모델을 활용하여 동작 시퀀스를 학습하기.
• 행동가이드 조정을 나타내는 동작을 포함하는 마르코프 결정 과정(MDP)으로 빔포밍 과정을 모델링하기.
• 경로 손실, 쉐이딩 및 간섭을 포함한 실질적인 실내 mmWave 전파를 표현하기 위해 시뮬레이션 환경 사용하기.
• 목표 값으로 향한 SINR 향상을 장려하는 보상 함수를 사용하여 DRL 에이전트 훈련하기.
• 현재 네트워크 상태에서 최적의 빔포밍 동작으로 매핑하는 정책 네트워크 최적화하기.
• 다양한 무작위 네트워크 상태에서 에이전트 성능 평가하여 내구성 테스트하기.

실험 결과

연구 질문

• RQ1 딥 레이어닝은 mmWave 네트워크에서 다운링크 SINR 향상을 위해 효과적인 빔포밍 동작 시퀀스를 학습할 수 있는가?
• RQ2 실내 mmWave 전파 환경의 본질적인 무작위성 하에서 DRL 에이전트는 어떻게 성능을 발휘하는가?
• RQ3 동적 채널 변동에도 불구하고 학습된 동작 시퀀스를 통해 실현 가능한 SINR 목표에 도달할 수 있는가?
• RQ4 다양하고 예측 불가능한 네트워크 상태에서 DRL 정책의 내구성은 어떠한가?

주요 결과

• 딥 레이어닝 에이전트는 다운링크 SINR 향상을 위해 최적의 빔포밍 동작 시퀀스를 성공적으로 학습하였다.
• 네트워크의 무작위 동적 특성과 채널 변동에도 불구하고 실현 가능한 SINR 향상을 달성하였다.
• 시뮬레이션 결과, DRL 접근법이 동적인 실내 mmWave 환경에서 내구성 있고 효과적임을 확인하였다.
• 제안된 방법은 mmWave 이동통신 네트워크에서 실시간 빔 관리에 대한 DRL의 실현 가능성을 입증하였다.