[論文レビュー] Reinforcement Learning of Beam Codebooks in Millimeter Wave and Terahertz MIMO Systems

Yu Zhang, Muhammad Alrabeiah+1 more|arXiv (Cornell University)|Feb 22, 2021

Millimeter-Wave Propagation and Modeling参考文献 31被引用数 6

ひとこと要約

本稿では、チャネル情報、アレイ幾何学、ユーザー位置を一切必要とせず、受信電力測定のみを用いてmmWave/THz MIMOシステムにおけるビームコードブックを自律的に最適化する深層強化学習（DRL）フレームワークを提案する。この手法は、環境要因やハードウェア特性に適応したビームパターン（例：非視線（NLOS）状況におけるマルチローブビーム、位相ミスマッチ下での歪み補償ビーム）を学習し、従来のコードブックと比較して顕著に低いビーム訓練オーバーヘッドでほぼ最適な性能を達成する。

ABSTRACT

Millimeter wave (mmWave) and terahertz MIMO systems rely on pre-defined beamforming codebooks for both initial access and data transmission. Being pre-defined, however, these codebooks are commonly not optimized for specific environments, user distributions, and/or possible hardware impairments. This leads to large codebook sizes with high beam training overhead which increases the initial access/tracking latency and makes it hard for these systems to support highly mobile applications. To overcome these limitations, this paper develops a deep reinforcement learning framework that learns how to iteratively optimize the codebook beam patterns (shapes) relying only on the receive power measurements and without requiring any explicit channel knowledge. The developed model learns how to autonomously adapt the beam patterns to best match the surrounding environment, user distribution, hardware impairments, and array geometry. Further, this approach does not require any knowledge about the channel, array geometry, RF hardware, or user positions. To reduce the learning time, the proposed model designs a novel Wolpertinger-variant architecture that is capable of efficiently searching for an optimal policy in a large discrete action space, which is important for large antenna arrays with quantized phase shifters. This complex-valued neural network architecture design respects the practical RF hardware constraints such as the constant-modulus and quantized phase shifter constraints. Simulation results based on the publicly available DeepMIMO dataset confirm the ability of the developed framework to learn near-optimal beam patterns for both line-of-sight (LOS) and non-LOS scenarios and for arrays with hardware impairments without requiring any channel knowledge.

研究の動機と目的

• mmWave/THz MIMOシステムにおける従来の事前定義ビームコードブックの高いビーム訓練オーバーヘッドと、最適でない性能を解決すること。
• 非視線（NLOS）伝搬やハードウェア劣化に適応できない固定的かつ単一ローブのビームパターンの限界を克服すること。
• 明示的なチャネル状態情報、ユーザー位置の知識、アレイ幾何学の仮定なしに動作する学習フレームワークの開発。
• 量子化位相シフターや位相ミスマッチといった実用的ハードウェア制約下でもロバストにビームコードブック学習を可能にすること。
• 大規模アンテナアレイに伴う量子化位相シフターによる大規模離散行動空間における、学習時間と探索複雑性の低減。

提案手法

• 受信電力を唯一の報酬信号として用いる深層強化学習（DRL）フレームワークを採用し、ビームパターンポリシーを学習する。
• 量子化位相シフターに起因する大規模離散行動空間を効率的に探索するため、Wolpertingerの変種であるニューラルネットワークアーキテクチャを提案。
• 定常位相、量子化位相シフター制約を反映した複素数値ニューラルネットワークを設計し、実用的なRF制約を満たす。
• ユーザー位置の知識や学習中の定常性を必要とせず、クラスタリング・アサインメント戦略を用いてビームコードブックを学習する。
• 受信電力を最大化するように最適化するポリシー勾配ベースの学習目的関数を採用し、多様な伝搬環境に適応するビームフォーミングベクトルを学習。
• 学習済みビームパターンをクリーンな空間と壊れた空間の両方に射影し、ハードウェア劣化への適応性を検証。

実験結果

リサーチクエスチョン

• RQ1 明示的なチャネル状態情報が不要なDRLアプローチは、mmWave/THz MIMOシステムにおいて最適なビームコードブックを学習可能か？
• RQ2 DRLフレームワークは、壁反射を伴うような非視線（NLOS）環境にどの程度適応できるか？
• RQ3 学習済みコードブックは、位相ミスマッチやアンテナ間隔誤差といったハードウェア劣化をどの程度補償できるか？
• RQ4 古典的な大規模ビームコードブックと比較して、DRLフレームワークは環境に適応したコンactなコードブックを学習することでビーム訓練オーバーヘッドを低減できるか？
• RQ5 完全なチャネル知識下での理想の非制約ビームフォーミングと比較して、学習済みコードブックの性能はどの程度か？

主な発見

• 提案されたDRLフレームワークは、NLOS状況で複数の反射パスからのエネルギーを捉えるマルチローブビームパターンを学習し、従来の単一ローブビームステアリングコードブックを上回る性能を達成する。
• NLOS環境下では、学習済み16ビームコードブックがマルチパスの利用により、古典的ビームステアリングコードブックよりも高い平均ビームフォーミングゲインを達成する。
• 標準偏差が最大0.3λまでの位相ミスマッチ下でも、DRLで学習したコードブックはわずかな変動の範囲で安定した性能を維持するが、古典的32ビームコードブックは著しく性能が低下する。
• クリーンな角度空間では学習済みビームが歪んでいるように見えるが、壊れた角度空間では鋭く焦点が合っているため、ハードウェア劣化に対する有効な補償が行われていることが確認された。
• DRLで学習したコードブックは、完全なチャネル知識下での理想の非制約ビームフォーミングベクトルとほぼ同等のビームフォーミングゲインを達成し、ほぼ最適な性能を示している。
• 本フレームワークは、古典的コードブック（例：32ビーム）よりも大きな規模であるにもかかわらず、少ないビーム数（例：8〜16ビーム）で学習することで、特に困難な伝搬環境やハードウェア条件下でも優れた性能を発揮し、ビーム訓練オーバーヘッドを大幅に削減している。