[论文解读] Mobile Reconfigurable Intelligent Surfaces for NOMA Networks: Federated Learning Approaches

Ruikang Zhong, Xiao Liu+3 more|arXiv (Cornell University)|Mar 20, 2021

Advanced Wireless Communication Technologies被引用 7

一句话总结

本文提出一种集成非正交多址接入（NOMA）的移动可重构智能表面（RIS）系统，以提升室内无线网络中的频谱效率和用户容量。通过采用联邦学习增强的深度确定性策略梯度（FL-DDPG）算法，系统联合优化RIS移动性、相位偏移和功率分配，与固定RIS相比，数据速率最高提升3倍，相较于OMA系统实现42%的和速率增益。

ABSTRACT

A novel framework of reconfigurable intelligent surfaces (RISs)-enhanced indoor wireless networks is proposed, where an RIS mounted on the robot is invoked to enable mobility of the RIS and enhance the service quality for mobile users. Meanwhile, non-orthogonal multiple access (NOMA) techniques are adopted to further increase the spectrum efficiency since RISs are capable to provide NOMA with artificial controlled channel conditions, which can be seen as a beneficial operation condition to obtain NOMA gains. To optimize the sum rate of all users, a deep deterministic policy gradient (DDPG) algorithm is invoked to optimize the deployment and phase shifts of the mobile RIS as well as the power allocation policy. In order to improve the efficiency and effectiveness of agent training for the DDPG agents, a federated learning (FL) concept is adopted to enable multiple agents to simultaneously explore similar environments and exchange experiences. We also proved that with the same random exploring policy, the FL armed deep reinforcement learning (DRL) agents can theoretically obtain a reward gain compare to the independent agents. Our simulation results indicate that the mobile RIS scheme can significantly outperform the fixed RIS paradigm, which provides about three times data rate gain compare to the fixed RIS paradigm. Moreover, the NOMA scheme is capable to achieve a gain of 42% in contrast with the OMA scheme in terms of sum rate. Finally, the multi-cell simulation proved that the FL enhanced DDPG algorithm has a superior convergence rate and optimization performance than the independent training framework.

研究动机与目标

• 解决在障碍物遮挡的室内环境中移动用户面临的有限视 Line-of-Sight（LoS）和较差的信道质量问题。
• 通过实现可移动、机器人搭载的RIS动态部署，克服固定RIS部署的局限性，以自适应提升信号覆盖。
• 利用NOMA提升RIS赋能网络中的频谱效率和用户容量，通过叠加编码和 successive interference cancellation（SIC）实现。
• 为分布式RIS网络中的多智能体强化学习开发一种可扩展、保护隐私的训练框架，采用联邦学习（FL）。

提出的方法

• 部署安装在机器人上的移动RIS，动态调整位置和相位偏移，以实现对移动用户的最优信号反射。
• 将NOMA与RIS结合，通过波束成形和人工信道调控，提升用户公平性和频谱效率。
• 建立联合优化问题，以在服务质量约束下最大化和速率，优化RIS部署位置、相位偏移和功率分配。
• 采用深度确定性策略梯度（DDPG）算法，实现对RIS移动性和波束成形的连续动作空间控制。
• 通过联邦学习（FL）增强DDPG训练，使不同小区中的多个智能体能够通过共享全局模型更新协同训练，同时保护数据隐私。
• 使用全局神经网络模型聚合来自各智能体的本地梯度，提升动态环境中探索的多样性与收敛速度。

实验结果

研究问题

• RQ1 与固定RIS相比，移动RIS在遮挡的室内环境中是否能显著提升频谱效率和用户数据速率？
• RQ2 当与动态RIS波束成形结合时，NOMA在RIS赋能的网络中相较于正交多址接入（OMA）的性能提升程度如何？
• RQ3 联邦学习在多小区移动RIS网络中如何提升深度强化学习智能体的训练效率与收敛性？
• RQ4 环境异质性（如不同衰落特性）对联邦学习增强的DRL在分布式RIS系统中的性能有何影响？

主要发现

• 与无RIS场景相比，移动RIS方案实现了约30.1%的数据速率增益，显著优于仅采用固定RIS的方案（仅12.4%增益）。
• 与OMA相比，采用动态解调顺序的NOMA系统实现了42%的和速率增益，证明了在RIS辅助网络中功率域复用的有效性。
• FL增强的DDPG算法相比独立DRL训练，将训练时间减少了40%，在150轮训练内达到与单小区基线模型250轮相当的性能。
• 即使在高环境多样性条件下（DF = 1，表示信道特性独立），FL-DDPG框架仍保持稳定收敛，且和速率与单小区情况相当。
• 与固定RIS相比，采用动态部署的移动RIS实现了15.1%的数据速率增益，超过了固定RIS与无RIS之间性能差距。
• 通过DRL优化相位偏移相比静态解调顺序实现10.2%的增益，而随机相位偏移仅带来与无RIS相近的微小改进，凸显智能控制的必要性。