[论文解读] Deep Reinforcement Learning Based Mode Selection and Resource Management for Green Fog Radio Access Networks

Yaohua Sun, Mugen Peng+1 more|arXiv (Cornell University)|Sep 15, 2018

Caching and Content Delivery参考文献 30被引用 10

一句话总结

本文提出了一种基于深度强化学习（DRL）的绿色雾无线电接入网络（F-RANs）联合模式选择与资源管理框架，旨在最小化长期系统功耗。控制器动态选择用户设备（UE）的C-RAN与D2D模式，并控制处理器的开关状态，同时在服务质量（QoS）和功耗约束下对C-RAN模式下的预编码进行优化。仿真结果表明，DRL方法优于多个基线方法，且迁移学习在不牺牲性能的前提下加速了收敛。

ABSTRACT

Fog radio access networks (F-RANs) are seen as potential architectures to support services of internet of things by leveraging edge caching and edge computing. However, current works studying resource management in F-RANs mainly consider a static system with only one communication mode. Given network dynamics, resource diversity, and the coupling of resource management with mode selection, resource management in F-RANs becomes very challenging. Motivated by the recent development of artificial intelligence, a deep reinforcement learning (DRL) based joint mode selection and resource management approach is proposed. Each user equipment (UE) can operate either in cloud RAN (C-RAN) mode or in device-to-device mode, and the resource managed includes both radio resource and computing resource. The core idea is that the network controller makes intelligent decisions on UE communication modes and processors' on-off states with precoding for UEs in C-RAN mode optimized subsequently, aiming at minimizing long-term system power consumption under the dynamics of edge cache states. By simulations, the impacts of several parameters, such as learning rate and edge caching service capability, on system performance are demonstrated, and meanwhile the proposal is compared with other different schemes to show its effectiveness. Moreover, transfer learning is integrated with DRL to accelerate learning process.

研究动机与目标

• 为解决在具有异构边缘缓存的动态雾无线电接入网络中最小化长期系统功耗的挑战。
• 在服务质量（QoS）与计算约束下，联合优化用户设备通信模式选择（C-RAN与D2D）及处理器开关状态。
• 根据动态边缘缓存状态与干扰情况，实现实时、自适应的网络控制。
• 评估DRL相较于传统控制方案与基线算法的有效性。
• 将迁移学习与DRL结合，以加速训练过程，同时保持性能。

提出的方法

• 采用深度Q网络（DQN）近似Q函数以实现决策，支持从原始网络状态进行无模型、端到端学习。
• DRL智能体根据当前系统状态（包括缓存可用性与信道条件）选择UE通信模式与处理器状态。
• 模式选择后，通过迭代算法在每用户服务质量（QoS）、每射频拉远单元（RRH）功率及云计算容量约束下，优化C-RAN模式下UE的预编码。
• 经验回放与目标网络稳定了DQN训练，提升了收敛性与泛化能力。
• 迁移学习通过使用相似环境中预训练的权重初始化DRL模型，缩短了训练时间。
• 系统采用折现累积功耗作为奖励信号，以指导长期优化。

实验结果

研究问题

• RQ1 基于DRL的联合模式选择与资源管理在动态F-RANs中对长期系统功耗有何影响？
• RQ2 与固定模式方案（如始终使用D2D或始终使用C-RAN）相比，DRL在能效方面有何性能提升？
• RQ3 迁移学习的集成如何影响DRL智能体的训练效率与最终性能？
• RQ4 学习率与批量大小等关键超参数如何影响DRL模型的收敛性与稳定性？
• RQ5 边缘缓存服务能力的变化对系统功耗与控制策略有何影响？

主要发现

• 所提出的DRL方法在所有基线方法（包括始终使用D2D与仅使用C-RAN的方案）中实现了最低的长期系统功耗。
• DRL方法通过根据动态缓存状态与干扰智能平衡C-RAN与D2D模式，显著降低了功耗。
• 与Q-learning相比，采用经验回放与函数逼近的DRL方法泛化能力更强，且在更少环境交互下实现了更优性能。
• 迁移学习使DRL智能体在显著减少训练时间与交互次数的前提下，达到与从零开始训练相当的性能。
• 学习率与批量大小对训练稳定性与收敛速度有显著影响，最优值可进一步提升性能。
• 更高的边缘缓存服务能力（如ρₘ = 0.9）可降低系统功耗，因为更多内容可本地获取，从而减轻回传与处理负载。