[論文レビュー] Learning Reflection Beamforming Codebooks for Arbitrary RIS and Non-Stationary Channels

Yu Zhang, Ahmed Alkhateeb|arXiv (Cornell University)|Sep 30, 2021

Advanced MIMO Systems Optimization参考文献 8被引用数 13

ひとこと要約

本稿では、チャネル情報の明示的知識を必要とせず、多段階学習アプローチを用いて収束を高速化し、計算複雑度を低減する、深層強化学習（DRL）に基づくフレームワークを提案する。この手法は、任意のRIS形状、分散配置、非定常チャネルに対応でき、256ビームのDFTコードブックを上回る性能を達成するが、わずか6ビームで実現する。

ABSTRACT

Reconfigurable intelligent surfaces (RIS) are expected to play an important role in future wireless communication systems. These surfaces typically rely on their reflection beamforming codebooks to reflect and focus the signal on the target receivers. Prior work has mainly considered pre-defined RIS beamsteering codebooks that do not adapt to the environment and hardware and lead to large beam training overhead. In this work, a novel deep reinforcement learning based framework is developed to efficiently construct the RIS reflection beam codebook. This framework adopts a multi-level design approach that transfers the learning between the multiple RIS subarrays, which speeds up the learning convergence and highly reduces the computational complexity for large RIS surfaces. The proposed approach is generic for co-located/distributed RIS surfaces with arbitrary array geometries and with stationary/non-stationary channels. Further, the developed solution does not require explicitly channel knowledge and adapts the codebook beams to the surrounding environment, user distribution, and hardware characteristics. Simulation results show that the proposed learning framework can learn optimized interaction codebooks within reasonable iterations. Besides, with only 6 beams, the learned codebook outperforms a 256-beam DFT codebook, which significantly reduces the beam training overhead.

研究の動機と目的

• DFTのような事前定義された非適応的設計に依存する従来のRISビームフォーミングコードブックが抱える高いビームトレーニングオーバーヘッドと柔軟性の欠如を解消する。
• 空間的分離に起因する、配列形状が未知の大型RISシステム、分散配置、非定常チャネルの課題を克服する。
• 明示的なチャネル状態情報の必要性を回避し、受信電力測定のみに依存する低複雑度でハードウェアに配慮したコードブック設計を開発する。
• サブアレイ間の知識移行を可能にする、多段階で順次学習と結合を行うフレームワークを用いて、大型RIS表面における効率的な学習収束を実現する。

提案手法

• 受信電力測定値を唯一のフィードバック信号として使用する深層強化学習（DRL）フレームワークを採用し、明示的なチャネル推定の必要性を排除する。
• 多段階学習アーキテクチャを実装：まずサブアレイごとの反射ベクトルを学習し、次に上位レベルでそれらをコherentに結合して最終的なビームフォーミングベクトルを形成する。
• モデル重みを事前学習済みサブアレイから初期化するなど、サブアレイ間でのパラメータ転送を活用して収束を加速し、トレーニング時間を短縮する。
• 4ビット位相シフタなどの実用的RISハードウェア制約を考慮し、DRLの行動空間に直接量子化位相制御を組み込む。
• 階層的学習戦略を適用：分散RISの場合、まず各表面ごとにサブアレイをトレーニングし、次に表面レベルの応答を統合し、最後にすべての表面をコherentlyに結合する。
• ビームフォーミングゲイン最大化問題をマルコフ意思決定過程として定式化し、DRLエージェントが受信電力から導出される報酬信号に基づく試行錯誤によって最適な反射ベクトルを学習する。

実験結果

リサーチクエスチョン

• RQ1 DRLベースのフレームワークは、チャネル状態情報の明示的知識や配列形状の事前知識がなくても、効果的なRIS反射ビームコードブックを学習できるか？
• RQ2 提案された多段階学習フレームワークは、大型RISシステムにおける収束時間と計算複雑度をどの程度低減できるか？
• RQ3 学習済みコードブックは、ビームフォーミングゲインとトレーニングオーバーヘッドの観点で、従来のDFTコードブックをどの程度上回るか？
• RQ4 空間的に分離されたサブ表面を有する分散RIS展開に起因する非定常チャネル状態に、このフレームワークは適応可能か？
• RQ5 サブアレイ間でのパラメータ転送は、大型RIS表面における学習プロセスの加速にどの程度効果的か？

主な発見

• 提案されたDRLフレームワークは、256ビームのDFTコードブックを上回る平均ビームフォーミングゲインを40％以上達成する16ビームコードブックを学習するが、ビームトレーニングオーバーヘッドはわずか6.25％にまで低減される。
• わずか6ビームでさえ、256ビームのDFTコードブックをビームフォーミングゲインの観点で上回る。これはトレーニングオーバーヘッドの顕著な低減を示している。
• 多段階学習フレームワークは、パラメータ転送を活用することで収束時間を短縮する：事前学習済みモデルからの初期化により、サブアレイは迅速にトレーニング可能となる。
• 非定常チャネルを伴う分散RISシステムでは、3段階の学習モデルが100回未満のイテレーションでほぼ最適性能に到達する。これは65,536回のイテレーションを要する全探索と同等の性能である。
• フレームワークは、共通配置および分散配置を含む任意のRIS形状に適応可能であり、4ビット位相シフタなどのハードウェア制約も適切に考慮する。
• 明示的なチャネル知識に依存せず、受信電力測定値のみに依存するため、実用的展開における同期および推定オーバーヘッドが低減される。