[論文レビュー] Multi-hop RIS-Empowered Terahertz Communications: A DRL-based Hybrid Beamforming Design

Chongwen Huang, Zhaohui Yang+6 more|arXiv (Cornell University)|Jan 22, 2021

Advanced Wireless Communication Technologies参考文献 81被引用数 415

ひとこと要約

本稿では、深刻な経路損失を是正するため、マルチホップ再構成可能知的表面（RIS）を支援するテラヘルツ（THz）通信に、深層強化学習（DRL）に基づくハイブリッドビームフォーミング設計を提案する。ベースステーションにおけるデジタルビームフォーミングと複数のRISにおけるアナログビームフォーミングをDRLで共同最適化することで、ベンチマーク比で50%高いカバレッジ範囲を達成し、マルチホップTHzネットワークにおけるNP-hardビームフォーミングの最先端の性能を示している。

ABSTRACT

Wireless communication in the TeraHertz band (0.1--10 THz) is envisioned as one of the key enabling technologies for the future sixth generation (6G) wireless communication systems scaled up beyond massive multiple input multiple output (Massive-MIMO) technology. However, very high propagation attenuations and molecular absorptions of THz frequencies often limit the signal transmission distance and coverage range. Benefited from the recent breakthrough on the reconfigurable intelligent surfaces (RIS) for realizing smart radio propagation environment, we propose a novel hybrid beamforming scheme for the multi-hop RIS-assisted communication networks to improve the coverage range at THz-band frequencies. Particularly, multiple passive and controllable RISs are deployed to assist the transmissions between the base station (BS) and multiple single-antenna users. We investigate the joint design of digital beamforming matrix at the BS and analog beamforming matrices at the RISs, by leveraging the recent advances in deep reinforcement learning (DRL) to combat the propagation loss. To improve the convergence of the proposed DRL-based algorithm, two algorithms are then designed to initialize the digital beamforming and the analog beamforming matrices utilizing the alternating optimization technique. Simulation results show that our proposed scheme is able to improve 50\% more coverage range of THz communications compared with the benchmarks. Furthermore, it is also shown that our proposed DRL-based method is a state-of-the-art method to solve the NP-hard beamforming problem, especially when the signals at RIS-assisted THz communication networks experience multiple hops.

研究の動機と目的

• 高い伝搬減衰および分子吸収による高周波数THz通信における深刻な経路損失と限られたカバレッジの課題に対処する。
• 単一ホップRISシステムの制限を克服し、複数のパassingで制御可能なRISを用いたマルチホップ伝送を可能にする。
• スペクトル効率とカバレッジを最大化するため、マルチユーザー・マルチホップRIS-THzネットワークにおけるデジタルおよびアナログビームフォーミングの共同設計を開発する。
• 明示的なチャネル状態情報や複雑な数学的モデルを必要とせずに、NP-hardハイブリッドビームフォーミング問題を解けるDRLベースのアルゴリズムを提案する。
• ビームフォーミング行列の逐次最適化に基づく初期化により、収束性と性能を向上させる。

提案手法

• マルチホップTHzネットワークにおける基地局のデジタルビームフォーミングと複数のRISにおけるアナログビームフォーミングのための非凸最適化問題を定式化する。
• チャネルモデルの事前知識が不要なDRLベースのアルゴリズムを設計し、Actor-Criticネットワークを用いて最適なビームフォーミング行列を学習する。
• DRLの収束性を向上させるため、2つの初期化手法を導入する：1つはデジタルビームフォーミング用、もう1つは各RISにおけるアナログビームフォーミング用の逐次最適化に基づくもの。
• 合計スループットに基づく報酬関数を用いてDRLエージェントを訓練し、状態表現にはチャネル状態情報とシステムパラメータを含める。
• 経験再生とターゲットネットワークを用いてDRLフレームワークを実装し、訓練の安定化とポリシー学習の向上を図る。
• 実装複雑度が低いため、RIS数、ユーザー数、電力レベルなどのさまざまなシステム構成にスケーラブルに適用可能。

実験結果

リサーチクエスチョン

• RQ1 DRLベースのアプローチは、マルチホップRIS搭載THzネットワークにおけるNP-hardハイブリッドビームフォーミング問題を効果的に解けるか？
• RQ2 提案されたDRLベースのビームフォーミング設計は、従来のベンチマークと比較して、カバレッジ範囲およびスペクトル効率においてどのように差をつけるか？
• RQ3 送信電力、RIS素子数、Rician係数などのシステムパラメータが、DRLの収束性と性能に与える影響は何か？
• RQ4 学習率の選択が、DRLエージェントの収束速度および最終的な報酬（合計スループット）に与える影響は何か？
• RQ5 複数ホップにおけるRISの配置により、THz通信のカバレッジ範囲はどの程度拡張可能か？

主な発見

• 提案されたDRLベースのハイブリッドビームフォーミング方式により、ベンチマーク方式と比較してTHz通信のカバレッジ範囲が50%向上し、実用的な伝送距離が著しく延長された。
• 送信電力が低い（例：5W）場合、状態空間が小さくなるため、収束が速くなるが、高い電力（30W）では全体の報酬と合計スループットが高くなる。
• 平均合計スループットは時間ステップとともに収束し、SNRが高く、RIS素子数が多い（例：64素子対32素子）環境では報酬が増加する。
• 学習率が0.001のとき最良の性能を示し、それより高い（0.01）または低い（0.00001）値では収束が不十分で、報酬も低くなる。
• Rician係数は強く影響を与える：LoS成分が優位な高値（例：10）では、非LoS状況（係数=1）と比較して、大幅に高い合計スループットが達成される。
• 平均報酬の累積分布関数（CDF）から、RIS素子数（Ni = 64）と送信電力（Pt = 30W）を増加させることで、あらゆるシステム構成において一貫して高い性能が得られることが示された。