[论文解读] Hybrid Beamforming for RIS-Empowered Multi-hop Terahertz Communications: A DRL-based Method

Chongwen Huang, Zhaohui Yang+5 more|arXiv (Cornell University)|Sep 20, 2020

Advanced Wireless Communication Technologies参考文献 22被引用 9

一句话总结

该论文提出了一种基于深度强化学习（DRL）的混合波束成形方案，用于多跳可重构智能表面（RIS）辅助的太赫兹（THz）通信网络，以应对严重的路径损耗并扩展覆盖范围。通过联合优化基站的数字波束成形和多个RIS的模拟相位偏移，DRL方法相比基准方案将覆盖范围提升了50%，在多跳THz系统中实现了NP-hard波束成形问题的最先进性能。

ABSTRACT

Wireless communication in the TeraHertz band (0.1--10 THz) is envisioned as one of the key enabling technologies for the future six generation (6G) wireless communication systems. However, very high propagation attenuations and molecular absorptions of THz frequencies often limit the signal transmission distance and coverage range. Benefited from the recent breakthrough on the reconfigurable intelligent surfaces (RIS) for realizing smart radio propagation environment, we propose a novel hybrid beamforming scheme for the multi-hop RIS-assisted communication networks to improve the coverage range at THz-band frequencies. We investigate the joint design of digital beamforming matrix at the BS and analog beamforming matrices at the RISs, by leveraging the recent advances in deep reinforcement learning (DRL) to combat the propagation loss. Simulation results show that our proposed scheme is able to improve 50\% more coverage range of THz communications compared with the benchmarks. Furthermore, it is also shown that our proposed DRL-based method is a state-of-the-art method to solve the NP-bard beamforming problem, especially when the signals at RIS-empowered THz communication networks experience multiple hops.

研究动机与目标

• 解决太赫兹频段通信中严重的路径损耗和有限覆盖范围问题，这些问题阻碍了超高速6G网络的部署。
• 通过提出多跳RIS架构，克服单跳RIS辅助系统在信号传播和覆盖范围方面的局限性。
• 解决多跳RIS-THz系统中联合数字与模拟波束成形的非凸、NP-hard优化问题，该问题使用传统方法难以求解。
• 开发一种无需显式信道状态信息的无模型、端到端学习框架，利用深度强化学习（DRL）实现自适应波束成形。
• 在总速率和覆盖范围扩展方面，证明所提出的基于DRL的方法优于传统交替优化和全数字波束成形方法。

提出的方法

• 建立一个非凸优化问题，通过联合设计基站的数字波束成形矩阵和多个RIS的模拟相位移矩阵，以最大化总速率。
• 将多跳RIS-THz系统建模为复合衰落信道，其中每个RIS作为具有单位模值、对角相位移矩阵的无源反射器。
• 设计一个具有演员-评论家架构的DRL智能体，通过与环境交互学习最优波束成形策略，利用基于总速率的瞬时和累积奖励。
• 采用大小为100,000的经验回放缓冲区，并使用软更新（τ = 0.001）的目标网络以稳定训练并提高收敛性。
• 使用折扣奖励（γ = 0.99）进行DRL智能体训练，并为演员和评论家网络分别采用0.001的学习率，学习率衰减率为0.005。
• 使用16的mini-batch大小，并在深度Q-learning框架中每一步同步目标网络，以提高策略稳定性和收敛性。

实验结果

研究问题

• RQ1 基于DRL的方法能否有效解决多跳RIS赋能的THz通信系统中NP-hard的联合波束成形优化问题？
• RQ2 所提出的基于DRL的混合波束成形方案在性能上与传统基准方法（如全数字迫零波束成形和单跳交替优化）相比如何？
• RQ3 与单跳或非RIS配置相比，多跳RIS架构在多大程度上提升了THz通信的覆盖范围？
• RQ4 DRL智能体的学习效率和收敛行为如何随不同发射功率电平和信噪比变化？
• RQ5 DRL智能体能否在不依赖显式信道状态信息的情况下，泛化到不同的信道条件和系统参数？

主要发现

• 所提出的基于DRL的多跳RIS方案相比无RIS的全数字迫零波束成形，覆盖范围提升了50%，尤其在长距离传输中表现显著。
• 在目标吞吐量为1 Gbps时，两跳DRL方案的传输距离比非RIS ZF波束成形基准高出约50%。
• 在1 Gbps吞吐量下，DRL方法相比单跳交替优化基准在传输距离上提升了14%，且随着距离增加，性能差距进一步扩大。
• DRL智能体收敛至局部最优波束成形策略，奖励随时间步增加，且在较低发射功率（5W）下比在较高功率（30W）下收敛更快。
• 平均奖励和瞬时奖励随信噪比（SNR）升高而增加，证实了算法能够适应更优的信道条件。
• 所提出的DRL方法被证明是解决多跳RIS赋能THz网络中NP-hard波束成形问题的最先进方案，尤其因其能够处理复杂、非线性和高维的信道动态特性。