[论文解读] Multi-Agent Reinforcement Learning with Common Policy for Antenna Tilt Optimization

Adriano Mendo, José Outes-Carnero+2 more|arXiv (Cornell University)|Feb 24, 2023

Advanced MIMO Systems Optimization被引用 5

一句话总结

本文提出了一种多智能体强化学习（MARL）框架，采用共享通用策略以优化无线网络中的远程电倾角（RET），通过引入邻近小区信息来提升整体性能。该方法在仿真器中进行离线预训练以保护实际网络，随后支持在线增量学习，相比专家系统实现94.5%的优良吞吐量增益，覆盖性能优于忽略邻区影响的方法19.4%。

ABSTRACT

This paper presents a method for optimizing wireless networks by adjusting cell parameters that affect both the performance of the cell being optimized and the surrounding cells. The method uses multiple reinforcement learning agents that share a common policy and take into account information from neighboring cells to determine the state and reward. In order to avoid impairing network performance during the initial stages of learning, agents are pre-trained in an earlier phase of offline learning. During this phase, an initial policy is obtained using feedback from a static network simulator and considering a wide variety of scenarios. Finally, agents can intelligently tune the cell parameters of a test network by suggesting small incremental changes, slowly guiding the network toward an optimal configuration. The agents propose optimal changes using the experience gained with the simulator in the pre-training phase, but they can also continue to learn from current network readings after each change. The results show how the proposed approach significantly improves the performance gains already provided by expert system-based methods when applied to remote antenna tilt optimization. The significant gains of this approach have truly been observed when compared with a similar method in which the state and reward do not incorporate information from neighboring cells.

研究动机与目标

• 为解决无线网络中优化小区参数（如远程电倾角，RET）这一NP难问题，其中参数调整会影响目标小区及邻近小区。
• 通过支持跨多个小区的可扩展、知识迁移友好的优化，克服单智能体强化学习与基于规则的专家系统的局限性。
• 通过在真实网络部署前使用静态仿真器进行离线预训练，保护实际网络在初始学习阶段的安全。
• 通过将邻近小区状态与奖励纳入MARL框架，提升性能，实现网络整体优化。
• 在部署后支持持续在线学习，使智能体能够适应实时网络动态并进一步提升性能。

提出的方法

• 部署多智能体强化学习（MARL）系统，每个小区配置一个智能体，所有智能体共享单一通用策略，以加速知识迁移与协调。
• 每个智能体观测自身小区状态，并接收邻近小区的状态与性能指标信息，以构建联合状态表示。
• 设计奖励函数以反映本地小区性能（如SINR、优良吞吐量）及对周围小区的影响，促进全局网络优化。
• 使用静态网络仿真器对智能体进行离线预训练，生成多样化场景，确保在真实部署前获得稳健的初始策略。
• 部署后，智能体执行增量参数更新（小幅度RET调整），并持续从实时网络反馈中学习，实现自适应优化。
• 提出一种机制，通过连续“保持”动作或奖励停滞等信号检测小区是否已稳定，以防止持续训练过程中的过拟合与知识遗忘。

Figure 1: Expected performance evolution of an RL agent and an expert system.

实验结果

研究问题

• RQ1 与独立策略相比，多个MARL智能体共享策略是否能提升无线网络参数优化中的学习效率与性能？
• RQ2 在状态与奖励设计中引入邻近小区信息，对覆盖与吞吐量增益方面RET优化性能有何影响？
• RQ3 在仿真器中进行离线预训练在多大程度上可降低真实网络初始在线学习阶段的性能下降风险？
• RQ4 部署后持续在线学习是否能带来超越预训练策略的性能提升？
• RQ5 为避免因最优配置附近振荡导致的过拟合与性能下降，在线学习的最佳停止点是什么？

主要发现

• 所提出的结合邻区信息的MARL方法相比基于专家系统的方案，优良吞吐量提升达94.5%。
• 尽管仅提升11.6%的质量增益，但引入邻区信息的方案相比忽略邻区信息的方法，覆盖增益高出19.4%。
• 启用在线学习的MARL系统相比静态智能体，优良吞吐量额外提升2.3%，峰值性能出现在第14步（提升34.0%）。
• 所有方法均实现100%拥塞缓解，但RL方法平均比专家系统少2步完成，初始存在拥塞的场景中则少3步。
• 最优性能并非出现在最终步骤，而是在第14步，表明持续学习可能导致因在最优值附近振荡而引发性能下降。
• 本研究发现，检测稳定状态（如通过动作模式或奖励停滞）对防止持续训练中的过拟合与知识遗忘至关重要。

Figure 2: Multiple instances of a unique RL agent.