[论文解读] Exploiting Multiple Intelligent Reflecting Surfaces in Multi-Cell Uplink MIMO Communications.

Jung-Hoon Kim, Seyyedali Hosseinalipour+3 more|arXiv (Cornell University)|Nov 2, 2020

Advanced Wireless Communication Technologies被引用 6

一句话总结

该论文提出了一种多智能体深度强化学习框架，用于在动态信道和部分信道状态信息（CSI）条件下，对多个智能反射面（IRS）增强的多小区上行链路MIMO系统进行和速率最大化。通过局部消息传递机制联合优化用户发射功率、IRS相位偏移和基站合并波束成形，有效降低了非平稳性，相较于固定功率和传统合并方案，实现了显著的速率增益。

ABSTRACT

Applications of intelligent reflecting surfaces (IRSs) in wireless networks have attracted significant attention recently. Most of the relevant literature is focused on the single cell setting where a single IRS is deployed, while static and perfect channel state information (CSI) is assumed. In this work, we develop a novel methodology for multi-IRS-assisted multi-cell networks in the uplink. We formulate the sum-rate maximization problem aiming to jointly optimize the IRS reflect beamformers, base station (BS) combiners, and user equipment (UE) transmit powers. In this optimization, we consider the scenario in which (i) channels are dynamic and (ii) only partial CSI is available at each BS; specifically, scalar effective channels of local UEs and some of the interfering UEs. In casting this as a sequential decision making problem, we propose a multi-agent deep reinforcement learning algorithm to solve it, where each BS acts as an independent agent in charge of tuning the local UEs transmit powers, the local IRS reflect beamformer, and its combiners. We introduce an efficient message passing scheme that requires limited information exchange among the neighboring BSs to cope with the non-stationarity caused by the coupling of actions taken by multiple BSs. Our numerical simulations show that our method obtains substantial improvement in average data rate compared to several baseline approaches, e.g., fixed UEs transmit power and maximum ratio combining.

研究动机与目标

• 解决由多个智能反射面（IRS）增强的多小区上行链路MIMO网络中的和速率最大化挑战。
• 处理基站处仅能获取局部用户和部分干扰用户有效信道标量信息的动态无线信道和部分CSI可用性问题。
• 以分布式方式联合优化用户设备（UE）的发射功率、IRS反射波束成形器和基站（BS）合并波束成形器。
• 通过高效的局部消息传递机制，缓解多智能体强化学习中因小区间干扰和动作耦合导致的非平稳性问题。

提出的方法

• 将和速率最大化问题建模为在部分CSI和动态信道条件下的序列决策问题。
• 部署多智能体深度强化学习（MADRL）框架，其中每个基站作为独立智能体，优化其关联用户设备的发射功率、IRS相位偏移和合并波束成形。
• 引入一种局部消息传递机制，在相邻基站之间交换有限信息，以协调动作并减少非平稳性。
• 使用带有经验回放和目标网络的深度Q网络（DQN），以在多智能体设置中稳定训练过程。
• 采用可微分参数化方法将IRS反射系数建模为连续变量，以在强化学习框架内实现基于梯度的优化。
• 采用集中式训练、分布式执行（CTDE）范式，以平衡协调性与可扩展性。

实验结果

研究问题

• RQ1 在动态信道和部分CSI条件下，如何实现多小区上行链路MIMO系统中多个IRS的和速率最大化？
• RQ2 在分布式优化设置中，多个基站动作相互依赖所导致的非平稳性有何影响？
• RQ3 在IRS辅助网络的多智能体强化学习框架中，消息传递机制在降低协调开销的同时，对性能保持效果如何？
• RQ4 联合优化用户功率、IRS波束成形和BS合并波束成形是否能优于传统的固定功率和最大比合并方案？
• RQ5 在IRS辅助的多小区上行链路系统中，与全CSI相比，部分CSI可实现多大的性能增益？

主要发现

• 所提出的多智能体DRL方法在平均和速率方面显著优于基线方案，如固定用户发射功率和最大比合并。
• 消息传递机制显著降低了非平稳性，并在仅限基站间通信的条件下实现了稳定训练。
• 该方法在动态信道条件和部分CSI下仍保持高性能，展现出在实际部署场景中的鲁棒性。
• 联合优化发射功率、IRS相位偏移和BS合并波束成形所带来的频谱效率增益，远高于单独优化任一组件。
• 该算法在具有多个IRS的多小区环境中表现出良好的可扩展性，在各种网络配置下均实现了稳定的性能提升。