[論文レビュー] Millimeter Wave Communications with an Intelligent Reflector: Performance Optimization and Distributional Reinforcement Learning

Qianqian Zhang, Walid Saad+1 more|arXiv (Cornell University)|Feb 24, 2020

Advanced Wireless Communication Technologies参考文献 34被引用数 20

ひとこと要約

本稿では、再構成可能インテリジェントリフレクタ（IR）を用いたミリ波通信のための共同最適化フレームワークを提案する。完全なCSI（Channel State Information）下では反復的プリコーディングとリフレクションビームフォーミングを用い、不完全なCSI下では分位数回帰に基づく分布的強化学習（QR-DRL）手法を採用する。QR-DRL手法は安定した収束を示し、制限されたCSI下でQ学習ベースの手法と比較して下り回線レートを10%向上させ、固定IR方式と比較して30%以上の合計レート向上を達成する。

ABSTRACT

In this paper, a novel framework is proposed to optimize the downlink multi-user communication of a millimeter wave base station, which is assisted by a reconfigurable intelligent reflector (IR). In particular, a channel estimation approach is developed to measure the channel state information (CSI) in real-time. First, for a perfect CSI scenario, the precoding transmission of the BS and the reflection coefficient of the IR are jointly optimized, via an iterative approach, so as to maximize the sum of downlink rates towards multiple users. Next, in the imperfect CSI scenario, a distributional reinforcement learning (DRL) approach is proposed to learn the optimal IR reflection and maximize the expectation of downlink capacity. In order to model the transmission rate's probability distribution, a learning algorithm, based on quantile regression (QR), is developed, and the proposed QR-DRL method is proved to converge to a stable distribution of downlink transmission rate. Simulation results show that, in the error-free CSI scenario, the proposed approach yields over 30% and 2-fold increase in the downlink sum-rate, compared with a fixed IR reflection scheme and direct transmission scheme, respectively. Simulation results also show that by deploying more IR elements, the downlink sum-rate can be significantly improved. However, as the number of IR components increases, more time is required for channel estimation, and the slope of increase in the IR-aided transmission rate will become smaller. Furthermore, under limited knowledge of CSI, simulation results show that the proposed QR-DRL method, which learns a full distribution of the downlink rate, yields a better prediction accuracy and improves the downlink rate by 10% for online deployments, compared with a Q-learning baseline.

研究の動機と目的

• 遮蔽と不完全なチャネル状態情報（CSI）が存在する環境下での信頼性の高いミリ波通信の課題に対処すること。
• インテリジェントリフレクタ（IR）を用いた複数ユーザーのミリ波システムにおいて、共同ビームフォーミングとリフレクション制御を用いて下り回線合計レートを最適化すること。
• CSIが不完全な状況下でも、不確実性に強く、安定した性能を発揮する学習ベースのIRリフレクション最適化手法を開発すること。
• 分布的強化学習を用いて下り回線伝送レートの確率分布を正確にモデル化し、予測精度を向上させること。

提案手法

• 完全なCSI下で、基地局（BS）のプリコーディングとIRのリフレクション係数を同時に最適化する反復的アルゴリズムを提案し、合計レートを最大化する。
• 分位数回帰（QR）を用いた分布的強化学習（DRL）フレームワークを導入し、下り回線伝送レートの全分布をモデル化する。
• 分位数回帰損失を最小化することで最適なIRリフレクション方策を学習するQR-DRLアルゴリズムを構築し、安定した分布への収束を保証する。
• 1-Wasserstein距離と収縮写像を用いてQR-DRL手法の理論的収束性を証明し、誤差境界が分位数の解像度に依存することを示す。
• 価値関数間の分布的距離を測るための1-Wasserstein距離ベースの指標を採用し、ロバストな方策学習を可能にする。
• 真の伝送レート分布を近似するための射影演算子 Π_{W₁} を用い、安定性と収束性を確保する。

実験結果

リサーチクエスチョン

• RQ1 完全なCSI下で、IR支援ミリ波システムにおいて、共同プリコーディングとリフレクションビームフォーミングを最適化し、下り回線合計レートを最大化する方法は何か？
• RQ2 提案された最適化フレームワークは、直接伝送と固定IRリフレクション方式と比較して、どの程度の性能向上を達成するか？
• RQ3 不完全なCSI下で、分布的強化学習を活用して最適なIRリフレクション方策を学習するにはどうすればよいか？
• RQ4 QR-DRLは、制限されたCSI環境下で、従来のQ学習と比較して、より高い予測精度とレート性能を達成できるか？
• RQ5 IR素子数の増加がシステム性能およびチャネル推定オーバーヘッドに与える影響は何か？

主な発見

• 完全なCSI下では、提案手法は固定IRリフレクション方式と比較して30%以上の高い下り回線合計レートを達成する。
• 提案手法は、IR支援なしの直接伝送と比較して、合計レートを2倍に向上させる。
• IR素子数が増加するにつれて合計レートは向上するが、チャネル推定オーバーヘッドの増加により、向上の割合は減少する。
• 不完全なCSI下では、QR-DRL手法がオンライン展開においてQ学習ベースのベースラインと比較して下り回線レートを10%向上させる。
• 理論的解析により、QR-DRLアルゴリズムが安定した伝送レート分布に収束することを証明し、分位数の数が増えるほど収束誤差が減少することが示された。
• 収縮写像条件を満たす限り、QR-DRL方策の収束が保証され、分位数解像度が向上するに従い誤差境界が縮小する。