[논문 리뷰] Millimeter Wave Communications with an Intelligent Reflector: Performance Optimization and Distributional Reinforcement Learning

Qianqian Zhang, Walid Saad외 1명|arXiv (Cornell University)|2020. 02. 24.

Advanced Wireless Communication Technologies참고 문헌 34인용 수 20

한 줄 요약

이 논문은 완벽한 CSI 하에서 반복적 예비부호화와 반사 beamforming을 사용하는 밀리미터파 통신을 위한 공동 최적화 프레임워크를 제안하며, 불완전한 CSI 하에서는 분포 강화학습 기반의 분위수 회귀(QR-DRL) 방법을 사용한다. QR-DRL 방법은 안정적인 수렴을 보이며, 제한된 CSI 하에서 Q-학습 대비 내림쪽 전송률을 10% 향상시키고, 고정된 IR 설계 대비 30% 이상의 합산 전송률 향상을 달성한다.

ABSTRACT

In this paper, a novel framework is proposed to optimize the downlink multi-user communication of a millimeter wave base station, which is assisted by a reconfigurable intelligent reflector (IR). In particular, a channel estimation approach is developed to measure the channel state information (CSI) in real-time. First, for a perfect CSI scenario, the precoding transmission of the BS and the reflection coefficient of the IR are jointly optimized, via an iterative approach, so as to maximize the sum of downlink rates towards multiple users. Next, in the imperfect CSI scenario, a distributional reinforcement learning (DRL) approach is proposed to learn the optimal IR reflection and maximize the expectation of downlink capacity. In order to model the transmission rate's probability distribution, a learning algorithm, based on quantile regression (QR), is developed, and the proposed QR-DRL method is proved to converge to a stable distribution of downlink transmission rate. Simulation results show that, in the error-free CSI scenario, the proposed approach yields over 30% and 2-fold increase in the downlink sum-rate, compared with a fixed IR reflection scheme and direct transmission scheme, respectively. Simulation results also show that by deploying more IR elements, the downlink sum-rate can be significantly improved. However, as the number of IR components increases, more time is required for channel estimation, and the slope of increase in the IR-aided transmission rate will become smaller. Furthermore, under limited knowledge of CSI, simulation results show that the proposed QR-DRL method, which learns a full distribution of the downlink rate, yields a better prediction accuracy and improves the downlink rate by 10% for online deployments, compared with a Q-learning baseline.

연구 동기 및 목표

• 블록화 및 불완전한 채널 상태 정보(CSI) 하에서 신뢰할 수 있는 mmWave 통신을 해결하기 위한 도전 과제를 다루기 위해.
• 기지국(BS)의 예비부호화와 IR의 공동 beamforming 제어를 통해 다중 사용자 mmWave 시스템의 다운링크 합산 전송률을 최적화하기 위해.
• CSI가 불완전한 상황에서 IR 반사 최적화를 위한 강건한 학습 기반 방법을 개발하여 불확실성 하에서도 안정적인 성능을 보장하기 위해.
• 분포 강화학습을 활용해 다운링크 전송률의 전체 분포를 모델링하여 예측 정확도를 향상시키기 위해.

제안 방법

• 완벽한 CSI 하에서 기지국(BS)의 예비부호화와 IR 반사 계수를 공동으로 최적화하는 반복 알고리즘을 제안하여 합산 전송률을 극대화한다.
• 분위수 회귀(QR)를 사용하는 분포 강화학습(DRL) 프레임워크를 도입하여 다운링크 전송률의 전체 분포를 모델링한다.
• 분위수 회귀 손실을 최소화하여 최적의 IR 반사 정책을 학습하는 QR-DRL 알고리즘을 개발하며, 안정적인 분포로 수렴함을 보장한다.
• 1-Wasserstein 거리와 수축 사상 이론을 사용하여 QR-DRL 방법의 이론적 수렴성을 증명하며, 오차 범위는 분위수 해상도에 따라 달라진다.
• 가치 함수 간의 분포 거리를 측정하기 위해 1-Wasserstein 거리 기반 메트릭을 사용하여 강건한 정책 학습을 가능하게 한다.
• 진정한 전송률 분포를 근사하기 위해 투영 연산자 Π_{W₁}를 사용하여 안정성과 수렴성을 확보한다.

실험 결과

연구 질문

• RQ1 완벽한 CSI 하에서 IR 보조 mmWave 시스템에서 예비부호화와 반사 beamforming을 공동으로 최적화하여 다운링크 합산 전송률을 극대화할 수 있는 방법은 무엇인가?
• RQ2 제안된 최적화 프레임워크는 직접 전송 및 고정된 IR 반사 설계 대비 어떤 성능 향상을 보이는가?
• RQ3 불완전한 CSI 하에서 분포 강화학습을 어떻게 활용하여 최적의 IR 반사 정책을 학습할 수 있는가?
• RQ4 QR-DRL은 제한된 CSI 환경에서 기존의 Q-학습보다 더 높은 예측 정확도와 전송률 성능을 달성할 수 있는가?
• RQ5 IR 요소 수의 증가가 시스템 성능와 채널 추정 오버헤드에 미치는 영향는 어떠한가?

주요 결과

• 완벽한 CSI 상황에서 제안된 방법은 고정된 IR 반사 설계 대비 30% 이상 높은 다운링크 합산 전송률을 달성한다.
• 제안된 방법은 IR 보조 없이 직접 전송하는 경우 대비 합산 전송률을 2배로 증가시킨다.
• IR 요소 수가 증가할수록 합산 전송률은 향상되지만, 채널 추정 오버헤드 증가로 인해 향상 속도는 점점 감소한다.
• 불완전한 CSI 하에서 QR-DRL 방법은 Q-학습 기반 베이스라인 대비 온라인 구현에서 다운링크 전송률을 10% 향상시킨다.
• 이론적 분석을 통해 QR-DRL 알고리즘이 안정적인 전송률 분포로 수렴하며, 분위수 수가 증가할수록 수렴 오차가 감소함을 증명하였다.
• 수축 사상 조건을 만족할 경우 QR-DRL 정책의 수렴이 보장되며, 분위수 해상도가 높아질수록 오차 범위가 감소한다.