[论文解读] Multi-hop RIS-Empowered Terahertz Communications: A DRL-based Hybrid Beamforming Design

Chongwen Huang, Zhaohui Yang+6 more|arXiv (Cornell University)|Jan 22, 2021

Advanced Wireless Communication Technologies参考文献 81被引用 415

一句话总结

本文提出了一种基于深度强化学习（DRL）的混合波束成形设计方案，用于多跳可重构智能表面（RIS）辅助的太赫兹（THz）通信，以应对严重的路径损耗问题。通过利用DRL联合优化基站的数字波束成形和多个RIS的模拟波束成形，该方案相比基准方案将覆盖范围提升了50%，在多跳THz网络的NP难波束成形问题中展现出最先进的性能。

ABSTRACT

Wireless communication in the TeraHertz band (0.1--10 THz) is envisioned as one of the key enabling technologies for the future sixth generation (6G) wireless communication systems scaled up beyond massive multiple input multiple output (Massive-MIMO) technology. However, very high propagation attenuations and molecular absorptions of THz frequencies often limit the signal transmission distance and coverage range. Benefited from the recent breakthrough on the reconfigurable intelligent surfaces (RIS) for realizing smart radio propagation environment, we propose a novel hybrid beamforming scheme for the multi-hop RIS-assisted communication networks to improve the coverage range at THz-band frequencies. Particularly, multiple passive and controllable RISs are deployed to assist the transmissions between the base station (BS) and multiple single-antenna users. We investigate the joint design of digital beamforming matrix at the BS and analog beamforming matrices at the RISs, by leveraging the recent advances in deep reinforcement learning (DRL) to combat the propagation loss. To improve the convergence of the proposed DRL-based algorithm, two algorithms are then designed to initialize the digital beamforming and the analog beamforming matrices utilizing the alternating optimization technique. Simulation results show that our proposed scheme is able to improve 50\% more coverage range of THz communications compared with the benchmarks. Furthermore, it is also shown that our proposed DRL-based method is a state-of-the-art method to solve the NP-hard beamforming problem, especially when the signals at RIS-assisted THz communication networks experience multiple hops.

研究动机与目标

• 解决由于高传播衰减和分子吸收导致的太赫兹（THz）通信中严重路径损耗和覆盖受限的问题。
• 通过使用多个被动式、可控制的RIS实现多跳传输，克服单跳RIS系统的局限性。
• 为多用户、多跳RIS-THz网络设计联合数字与模拟波束成形方案，以最大化频谱效率和覆盖范围。
• 提出一种基于DRL的算法，以解决NP难的混合波束成形问题，且无需依赖显式的信道状态信息或复杂的数学模型。
• 通过基于交替优化的波束成形矩阵初始化方法，提升收敛速度与性能。

提出的方法

• 在多跳THz网络中，为基站的数字波束成形和多个RIS的模拟波束成形建立非凸联合优化问题。
• 设计一种基于DRL的算法，利用演员-评论家网络学习最优波束成形矩阵，且无需预先了解信道模型。
• 引入两种基于交替优化的初始化方法，以提升DRL的收敛性：一种用于数字波束成形，另一种用于每个RIS的模拟波束成形。
• 使用基于和速率的奖励函数训练DRL智能体，状态表示包括信道状态信息和系统参数。
• 通过经验回放和目标网络实现DRL框架，以稳定训练过程并提升策略学习效果。
• 在各种系统配置（如RIS数量、用户数、功率水平）下实现DRL框架的可扩展性，且实现复杂度较低。

实验结果

研究问题

• RQ1 基于DRL的方法能否有效解决多跳RIS增强型THz网络中的NP难混合波束成形问题？
• RQ2 所提出的基于DRL的波束成形设计在覆盖范围和频谱效率方面与传统基准方案相比表现如何？
• RQ3 系统参数（如发射功率、RIS单元数量和Rician因子）对DRL收敛性和性能有何影响？
• RQ4 学习率的选择如何影响DRL智能体的收敛速度和最终奖励（和速率）？
• RQ5 在多跳中部署RIS在多大程度上能够扩展THz通信的覆盖范围？

主要发现

• 所提出的基于DRL的混合波束成形方案相比基准方案，将THz通信的覆盖范围提升了50%，显著延长了可用传输距离。
• 在较低发射功率（如5W）下，由于状态空间较小，算法收敛更快，但较高功率（30W）下整体奖励和和速率更高。
• 平均和速率随时间步长逐渐收敛，且在信噪比（SNR）更高以及RIS单元数更多（如64个对比32个）时，奖励显著增加。
• 学习率为0.001时性能最佳，而学习率过高（0.01）或过低（0.00001）均导致收敛性欠佳且奖励较低。
• Rician因子具有显著影响：较高值（如10）有利于视 Line-of-Sight（LoS）分量，与非LoS场景（因子=1）相比，总吞吐量显著提升。
• 平均奖励的累积分布函数（CDF）显示，增加RIS单元数（Ni = 64）和发射功率（Pt = 30W）可使各类系统配置下的性能持续提升。