[论文解读] Optimization-driven Machine Learning for Intelligent Reflecting Surfaces Assisted Wireless Networks

Shimin Gong, Jiaye Lin+4 more|arXiv (Cornell University)|Aug 29, 2020

Advanced Wireless Communication Technologies参考文献 15被引用 7

一句话总结

本文提出了一种基于优化的深度强化学习（DRL）框架，用于智能反射面（IRS）辅助无线网络中的联合主动与波束成形。通过将控制变量拆分为外层DRL与内层优化，该方法加速了收敛速度，降低了奖励方差，并提升了可扩展性——在大规模IRS和接入点（AP）阵列下，相比无模型DRL，实现了更快的学习速度和更优的性能表现。

ABSTRACT

Intelligent reflecting surface (IRS) has been recently employed to reshape the wireless channels by controlling individual scattering elements' phase shifts, namely, passive beamforming. Due to the large size of scattering elements, the passive beamforming is typically challenged by the high computational complexity and inexact channel information. In this article, we focus on machine learning (ML) approaches for performance maximization in IRS-assisted wireless networks. In general, ML approaches provide enhanced flexibility and robustness against uncertain information and imprecise modeling. Practical challenges still remain mainly due to the demand for a large dataset in offline training and slow convergence in online learning. These observations motivate us to design a novel optimization-driven ML framework for IRS-assisted wireless networks, which takes both advantages of the efficiency in model-based optimization and the robustness in model-free ML approaches. By splitting the decision variables into two parts, one part is obtained by the outer-loop ML approach, while the other part is optimized efficiently by solving an approximate problem. Numerical results verify that the optimization-driven ML approach can improve both the convergence and the reward performance compared to conventional model-free learning approaches.

研究动机与目标

• 解决无模型机器学习在IRS辅助网络中计算复杂度过高及收敛缓慢的问题。
• 克服大规模IRS系统中离线训练数据需求量大与在线学习不稳定的挑战。
• 融合基于模型优化的效率与无模型学习的鲁棒性，实现联合主动与被动波束成形。
• 通过利用波束成形问题的结构特性，减少DRL中的动作空间。
• 实现在动态无线环境中智能反射面的可扩展、实时部署。

提出的方法

• 将控制变量（相位偏移与功率分配）分为两部分：一部分通过内层凸近似优化，另一部分通过外层DDPG学习。
• 内层通过半定规划松弛（SDR）求解简化的波束成形问题，为DRL智能体提供快速、近似最优的反馈。
• DDPG智能体在缩减后的动作空间上学习最优策略，利用目标网络与经验回放机制实现稳定训练。
• 采用基于加权和速率与发射功率最小化的奖励函数，引导策略学习。
• 将优化步骤集成至DRL循环中，以提供更优的目标值估计，从而提升学习效率。
• 在用户数可变的多用户MIMO系统中，对不同规模的IRS与AP天线数量进行了评估。

实验结果

研究问题

• RQ1 基于优化的DRL框架是否能缩小动作空间并加速IRS波束成形中的收敛？
• RQ2 将基于模型的优化集成到无模型DRL中，如何提升IRS系统中学习的稳定性和性能？
• RQ3 随着IRS单元数与AP天线数量的增加，所提框架的可扩展性如何？
• RQ4 在动态信道条件下，该方法的奖励方差与收敛速度相较于传统无模型DRL有何差异？
• RQ5 在大规模IRS部署中，该框架能否在降低计算开销的同时保持性能优势？

主要发现

• 基于优化的DDPG收敛速度显著快于传统无模型DDPG，奖励方差更低，且更早实现稳定。
• 与无模型DDPG相比，该方法平均发射功率降低30%，体现了更高的能量效率。
• 基于优化的DDPG奖励方差显著减小，表明学习性能更加稳定。
• 算法在每轮决策中的运行时间几乎保持恒定，表明其在IRS规模与AP天线数量增加时具备极佳的可扩展性。
• 与基于SDR的优化相比，该框架在运行效率上表现更优，同时保持相近的性能水平，适用于实时部署。
• 在DRL循环中集成优化显著提升了学习效率，尤其在训练初期；但随着学习趋于收敛，收益逐渐减少。