[論文レビュー] Hybrid Beamforming for RIS-Empowered Multi-hop Terahertz Communications: A DRL-based Method

Chongwen Huang, Zhaohui Yang+5 more|arXiv (Cornell University)|Sep 20, 2020

Advanced Wireless Communication Technologies参考文献 22被引用数 9

ひとこと要約

本稿では、深刻な経路損失を低減し、カバレッジを拡張するために、マルチホップ再構成可能知的表面（RIS）を支援するテラヘルツ（THz）通信ネットワーク向けに、深層強化学習（DRL）に基づくハイブリッドビームフォーミング方式を提案する。基地局におけるデジタルビームフォーミングと複数のRISにおけるアナログ位相シフトを共同最適化することで、DRLアプローチはベンチマーク比でカバレッジ範囲を50%向上させ、マルチホップTHzシステムにおけるNP困難なビームフォーミング問題において最先端の性能を示した。

ABSTRACT

Wireless communication in the TeraHertz band (0.1--10 THz) is envisioned as one of the key enabling technologies for the future six generation (6G) wireless communication systems. However, very high propagation attenuations and molecular absorptions of THz frequencies often limit the signal transmission distance and coverage range. Benefited from the recent breakthrough on the reconfigurable intelligent surfaces (RIS) for realizing smart radio propagation environment, we propose a novel hybrid beamforming scheme for the multi-hop RIS-assisted communication networks to improve the coverage range at THz-band frequencies. We investigate the joint design of digital beamforming matrix at the BS and analog beamforming matrices at the RISs, by leveraging the recent advances in deep reinforcement learning (DRL) to combat the propagation loss. Simulation results show that our proposed scheme is able to improve 50\% more coverage range of THz communications compared with the benchmarks. Furthermore, it is also shown that our proposed DRL-based method is a state-of-the-art method to solve the NP-bard beamforming problem, especially when the signals at RIS-empowered THz communication networks experience multiple hops.

研究の動機と目的

• 超高速6Gネットワークの展開を阻害するテラヘルツ（THz）帯域における深刻な経路損失と限られたカバレッジの課題に対処する。
• 単一ホップRIS支援システムの限界を克服するため、信号伝搬とカバレッジ範囲を向上させるマルチホップRISアーキテクチャを提案する。
• 従来の手法では取り扱いが困難な、マルチホップRIS-THzシステムにおけるデジタルおよびアナログビームフォーミングの非凸的でNP困難な最適化問題に取り組む。
• 明示的なチャネル状態情報が不要な、モデルフリーでエンドツーエンドの学習フレームワークを採用し、適応的ビームフォーミングを可能にする深層強化学習（DRL）を活用する。
• 従来の交互最適化法およびフルデジタルビームフォーミングと比較して、合計スループットおよびカバレッジ拡張の観点で、提案手法の優位性を示す。

提案手法

• 基地局におけるデジタルビームフォーミング行列と複数のRISにおけるアナログ位相シフト行列を共同で最適化することで、合計スループットを最大化する非凸最適化問題を定式化する。
• 各RISがユニットモジュラスで対角行列を持つ受動的反射体として機能する、複合フェージングチャネルを有するマルチホップRIS-THzシステムをモデル化する。
• インstantaneousおよび累積報酬（合計スループットに基づく）を用いて、環境との相互作用を通じて最適ビームフォーミング方策を学習する、アクター・クリティック構造のDRLエージェントを設計する。
• 100,000のバッファサイズを有する経験リプレイを実装し、soft update（τ = 0.001）を用いたターゲットネットワークを導入することで、学習の安定性と収束性を向上させる。
• 割引報酬（γ = 0.99）を用いてDRLエージェントを学習し、アクターおよびクリティックネットワークの両方に0.001の学習率を適用し、0.005の減衰率を設定する。
• ミニバッチサイズを16に設定し、深層Q学習フレームワーク内でのポリシー安定性と収束性を向上させるために、各ステップでターゲットネットワークを同期する。

実験結果

リサーチクエスチョン

• RQ1 DRLベースのアプローチは、マルチホップRIS支援THz通信システムにおけるNP困難な共同ビームフォーミング最適化問題を効果的に解けるか？
• RQ2 提案されたDRLベースのハイブリッドビームフォーミング方式は、フルデジタルゼロフォーカスビームフォーミングや単一ホップの交互最適化といった従来のベンチマークと比較して、性能にどの程度優れているか？
• RQ3 マルチホップRISアーキテクチャは、単一ホップまたは非RIS構成と比較して、THz通信のカバレッジ範囲をどの程度向上させるか？
• RQ4 異なる送信電力レベルおよび信号対雑音比（SNR）において、DRLエージェントの学習効率および収束特性はどのように変化するか？
• RQ5 明示的なチャネル状態情報が不要な状態で、DRLエージェントは変化するチャネル条件およびシステムパラメータに一般化可能か？

主な発見

• 提案されたDRLベースのマルチホップRIS方式は、RISなしのフルデジタルゼロフォーカスビームフォーミングと比較して、特に長距離送信においてカバレッジ範囲を50%向上させた。
• 1 Gbpsのターゲットスループットにおいて、2ホップDRL方式は非RISZFBのベンチマークと比較して約50%高い送信距離を達成した。
• 1 Gbpsスループットにおいて、DRLベースの手法は単一ホップの交互最適化ベンチマークを14%の送信距離向上で上回り、距離が増加するに従い性能差が拡大した。
• DRLエージェントは局所最適なビームフォーミング方策に収束し、報酬が時間ステップに伴い増加する傾向を示した。低送信電力（5W）では高電力（30W）よりも収束が速かった。
• 平均および瞬時の報酬は、信号対雑音比（SNR）が高くなるに従い増加し、アルゴリズムが良好なチャネル条件に適応可能であることを確認した。
• DRLベースのアプローチは、非線形的かつ高次元のチャネルダイナミクスを扱える能力に起因し、マルチホップRIS支援THzネットワークにおけるNP困難なビームフォーミング問題の最先端の解決策であることが示された。