[论文解读] Green Deep Reinforcement Learning for Radio Resource Management: Architecture, Algorithm Compression and Challenge

Zhiyong Du, Yansha Deng+3 more|arXiv (Cornell University)|Oct 11, 2019

Advanced MIMO Systems Optimization参考文献 15被引用 5

一句话总结

该论文通过将基于云的训练与分布式决策架构、算法级压缩及空间迁移学习相结合，提出了一种面向5G及未来无线网络无线资源管理（RRM）的绿色深度强化学习（DRL）框架。该框架通过轻量级设备端推理、压缩的深度神经网络（DNNs）与马尔可夫决策过程（MDPs），以及地理相关基站间的知识共享，实现了能效高、可扩展的DRL，显著提升了学习效率，同时降低了计算与能耗成本。

ABSTRACT

AI heralds a step-change in the performance and capability of wireless networks and other critical infrastructures. However, it may also cause irreversible environmental damage due to their high energy consumption. Here, we address this challenge in the context of 5G and beyond, where there is a complexity explosion in radio resource management (RRM). On the one hand, deep reinforcement learning (DRL) provides a powerful tool for scalable optimization for high dimensional RRM problems in a dynamic environment. On the other hand, DRL algorithms consume a high amount of energy over time and risk compromising progress made in green radio research. This paper reviews and analyzes how to achieve green DRL for RRM via both architecture and algorithm innovations. Architecturally, a cloud based training and distributed decision-making DRL scheme is proposed, where RRM entities can make lightweight deep local decisions whilst assisted by on-cloud training and updating. On the algorithm level, compression approaches are introduced for both deep neural networks and the underlying Markov Decision Processes, enabling accurate low-dimensional representations of challenges. To scale learning across geographic areas, a spatial transfer learning scheme is proposed to further promote the learning efficiency of distributed DRL entities by exploiting the traffic demand correlations. Together, our proposed architecture and algorithms provide a vision for green and on-demand DRL capability.

研究动机与目标

• 解决深度强化学习（DRL）在5G及未来无线网络中高能耗的问题，尽管AI驱动的性能提升显著，但其高能耗威胁了网络的可持续性。
• 克服传统RRM优化方法在高维、动态无线环境中面临的可扩展性与计算负担问题。
• 设计一种绿色DRL架构，在训练与推理阶段均最小化能耗，通过将计算任务卸载至云端，并支持轻量级本地决策。
• 引入DNN与马尔可夫决策过程（MDPs）的模型压缩技术，以减小参数规模与计算负载，同时不牺牲准确性。
• 利用相邻基站间的空间相关性，实现空间迁移学习，加速DRL收敛并减少冗余训练。

提出的方法

• 提出一种基于云的训练与分布式决策DRL架构，其中基站执行轻量级本地推理，同时由集中式云平台提供训练支持。
• 应用DNN压缩技术，以减少训练与推理阶段的模型大小与能耗，重点聚焦于迭代稀疏性发现与渐进式剪枝。
• 通过在线学习引入MDP抽象，以压缩状态空间与动作空间，而无需预先掌握最优解或转移动态信息。
• 利用随机积分-差分方程（SIDE）框架建模相邻基站之间的时空流量相关性，从而支持空间迁移学习。
• 设计一种基于流量需求相关性的空间核，以确定相邻DRL智能体之间参数共享的程度，提升学习效率。
• 结合压缩的DNN、抽象化的MDP与空间迁移学习，构建一种可扩展、低能耗的分布式RRM DRL系统。

实验结果

研究问题

• RQ1 如何在不损害性能的前提下，使DRL在5G及未来网络的无线资源管理中实现能效优化？
• RQ2 何种架构设计可实现电池受限无线设备上可扩展、低能耗的DRL部署？
• RQ3 DNN与MDP模型压缩如何降低DRL在RRM中的计算与能耗成本？
• RQ4 基于相邻基站间流量相关性的空间迁移学习能否提升DRL收敛速度并减少冗余训练？
• RQ5 在线抽象在不依赖环境动态先验知识的前提下，如何实现MDP的有效压缩？

主要发现

• 所提出的基于云的训练与分布式推理架构显著降低了设备端的计算与能耗成本，使在电池受限设备上的部署成为可能。
• DNN压缩技术，尤其是迭代稀疏性发现方法，有效减小了模型规模，并降低了训练与推理阶段的能耗。
• 在线MDP抽象技术可在无需预先掌握最优策略或转移概率的情况下，有效压缩状态与动作空间。
• 基于SIDE的流量相关性模型实现的空间迁移学习，使相邻基站能够共享知识，加速DRL收敛并减少训练时间。
• 模型压缩与空间迁移学习的融合显著提升了分布式RRM实体的学习速度，并降低了整体能耗。
• 该框架为无线网络绿色AI提供了可行路径，实现了性能、可扩展性与能效之间的良好平衡。