[논문 리뷰] Deep reinforcement learning approach to MIMO precoding problem: Optimality and Robustness

Heunchul Lee, Maksym A. Girnyk외 1명|arXiv (Cornell University)|2020. 06. 30.

Advanced MIMO Systems Optimization참고 문헌 25인용 수 11

한 줄 요약

이 논문은 DQN과 DDPG 알고리즘을 사용하여 코드북 기반 및 비코드북 기반 환경에서 최적의 프리코딩 정책을 학습하는 딥 강화학습(DRL) 기반 프리코딩 프레임워크를 제안한다. 프레임워크는 단순한 MIMO 환경에서 근사 최적 성능을 보이며, 복잡한 주파수 선택성 채널에서 전통적인 근사 알고리즘을 능가하여 실제 조건에서의 강건성과 적응 가능성임을 입증한다.

ABSTRACT

In this paper, we propose a deep reinforcement learning (RL)-based precoding framework that can be used to learn an optimal precoding policy for complex multiple-input multiple-output (MIMO) precoding problems. We model the precoding problem for a single-user MIMO system as an RL problem in which a learning agent sequentially selects the precoders to serve the environment of MIMO system based on contextual information about the environmental conditions, while simultaneously adapting the precoder selection policy based on the reward feedback from the environment to maximize a numerical reward signal. We develop the RL agent with two canonical deep RL (DRL) algorithms, namely deep Q-network (DQN) and deep deterministic policy gradient (DDPG). To demonstrate the optimality of the proposed DRL-based precoding framework, we explicitly consider a simple MIMO environment for which the optimal solution can be obtained analytically and show that DQN- and DDPG-based agents can learn the near-optimal policy to map the environment state of MIMO system to a precoder that maximizes the reward function, respectively, in the codebook-based and non-codebook based MIMO precoding systems. Furthermore, to investigate the robustness of DRL-based precoding framework, we examine the performance of the two DRL algorithms in a complex MIMO environment, for which the optimal solution is not known. The numerical results confirm the effectiveness of the DRL-based precoding framework and show that the proposed DRL-based framework can outperform the conventional approximation algorithm in the complex MIMO environment.

연구 동기 및 목표

• 분석적 채널 모델에 의존하지 않고도 복잡한 MIMO 시스템에서 최적의 프리코딩 정책을 학습하는 DRL 기반 프레임워크를 개발하는 것.
• 해석적으로 알려진 최적 해가 존재하는 단순한 MIMO 환경에서 DRL 에이전트의 최적성 평가.
• 최적 해가 존재하지 않는 실제 MIMO 환경에서 DRL 기반 프리코딩의 강건성 평가.
• 코드북 기반 및 비코드북 기반 MIMO 프리코딩 시스템에서 DQN과 DDPG의 성능 비교.
• 실제 주파수 선택성 fading 조건 하에서 DRL이 기존 근사 알고리즘보다 비트 오류율(BER) 측면에서 우월함을 입증하는 것.

제안 방법

• MIMO 프리코딩 문제는 에이전트가 채널 상태 정보를 바탕으로 보상 신호를 최대화하도록 하는 마르코프 결정 과정(MDP)으로 모델링된다.
• 상태 표현은 파ilot 리소스 요소에서 채널 행렬의 실수부 및 허수부를 벡터화하여 형성되며, 신경망에 대한 3차원 배열 입력이 된다.
• 코드북 기반 프리코딩에서는 이산 행동 공간을 다루기 위해 DQN을 사용하고, 비코드북 기반 시스템에서는 연속 행동 공간을 처리하기 위해 DDPG를 사용한다.
• 학습 안정성을 확보하기 위해 경험 재생과 타겟 네트워크를 사용하며, 보상 함수는 데이터 리소스 요소를 기반으로 측정된 BER에 기반한다.
• DQN 및 DDPG 에이전트 모두에 동일한 완전 연결 신경망(3840, 512, 128 뉴런)과 ReLU 활성화 함수를 사용한다.
• 300만 개의 서브밴드에서 사전 학습한 후, 4-QAM 및 16-QAM 변조 방식을 사용하여 두 탭 TDL 채널 모델에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 분석적으로 알려진 최적 해가 존재하는 단순한 MIMO 환경에서 DRL 에이전트가 근사 최적의 프리코딩 정책을 학습할 수 있는가?
• RQ2 복잡한 주파수 선택성 MIMO 채널에서 DQN과 DDPG의 성능은 전통적인 근사 알고리즘과 비교해 어떻게 되는가?
• RQ3 최적 해가 알려져 있지 않은 환경에서도 DRL 기반 프리코딩 프레임워크가 강건성과 적응성을 유지하는가?
• RQ4 실제 4×2 MIMO-OFDM 시스템 조건 하에서 DRL은 BER 성능 측면에서 기존 방법을 얼마나 뛰어나게 성능 향상시킬 수 있는가?
• RQ5 DQN/DDPG의 구조와 코드북 기반 및 비코드북 기반 MIMO 프리코딩 설계 원칙 사이에 자연스러운 일치가 존재하는가?

주요 결과

• DQN 및 DDPG 에이전트는 분석적으로 알려진 최적 해에 가까운 근사 최적의 프리코딩 정책을 단순한 MIMO 환경에서 성공적으로 학습하였다.
• 복잡한 주파수 선택성 채널(TDL 모델)에서 DRL 기반 프레임워크는 4-QAM 및 16-QAM 변조 모두에서 기존 근사 알고리즘보다 BER 측면에서 뛰어난 성능을 보였다.
• DRL 프레임워크는 전통적 방법보다 낮은 비트 오류율을 달성했으며, BER 기반 보상의 누적분포함수(CDF) 분 析를 통해 성능 향상이 확인되었다.
• 사전 학습 후 새로운 채널 조건에 대해 DRL 에이전트는 미사전 처리된 서브밴드에서도 강력한 일반화 성능를 보였으며, 뛰어난 적응 능력을 입증하였다.
• 프레임워크는 코드북 기반 및 비코드북 기반 프리코딩 모드 모두에서 일관된 우수성을 보였으며, 광범위한 적용 가능성을 입증하였다.
• 결과는 향후 6G 무선 시스템에서 기존 최적화 기반 프리코딩의 실현 가능하고 고성능 대안으로 DRL이 활용될 수 있음을 확인한다.