[论文解读] Mobile Traffic Offloading with Forecasting using Deep Reinforcement Learning

Chih–Wei Huang, Po‐Chen Chen|arXiv (Cornell University)|Nov 18, 2019

Advanced MIMO Systems Optimization参考文献 14被引用 5

一句话总结

本文提出了一种基于深度强化学习（DRL）的异构网络（HetNet）移动流量卸载方案，结合卷积神经网络与循环神经网络进行流量需求预测。通过利用基于预测流量统计的深度Q网络（DQN），该方法在高流量负载下能量效率相比Q-learning和静态方案最高提升10%，表现出更优的能量效率与卸载性能。

ABSTRACT

With the explosive growth in demand for mobile traffic, one of the promising solutions is to offload cellular traffic to small base stations for better system efficiency. Due to increasing system complexity, network operators are facing severe challenges and looking for machine learning-based solutions. In this work, we propose an energy-aware mobile traffic offloading scheme in the heterogeneous network jointly apply deep Q network (DQN) decision making and advanced traffic demand forecasting. The base station control model is trained and verified on an open dataset from a major telecom operator. The performance evaluation shows that DQN-based methods outperform others at all levels of mobile traffic demand. Also, the advantage of accurate traffic prediction is more significant under higher traffic demand.

研究动机与目标

• 解决在动态、不可预测的流量需求下，异构网络（HetNet）中能量高效移动流量卸载的挑战。
• 通过准确的流量预测，克服传统反应式网络管理的局限，实现主动决策。
• 通过在预测的流量统计数据而非原始流量数据上训练DQN智能体，提升决策效率与节能效果。
• 在真实电信数据上，验证结合深度强化学习与多任务学习及先进预测技术的有效性。

提出的方法

• 采用深度Q网络（DQN）进行能量感知的卸载决策，将复杂的状态空间映射到离散动作（例如，激活/去激活小基站）。
• 结合CNN与RNN的混合预测模型，并引入多任务学习，以预测未来的流量需求与资源供给统计。
• 将预测的流量统计数据（例如，峰值负载、需求趋势）作为DQN智能体的输入特征，提升训练稳定性和决策准确性。
• 在主要电信运营商提供的真实世界公开数据集上端到端训练DQN智能体，模拟宏基站与小基站之间的交互。
• 通过最小化能耗、最大化数据吞吐量并维持服务质量，优化能量效率。
• 实施自组织网络（SON）框架，实现基于预测流量模式的主动、自适应卸载。

实验结果

研究问题

• RQ1 基于DQN的智能体能否在HetNet中有效管理移动流量卸载，同时实现能量效率优化？
• RQ2 集成流量需求预测如何提升DRL-based卸载方案相较于无预测方法的性能？
• RQ3 在高网络负载条件下，流量预测在多大程度上提升了决策能力？
• RQ4 所提出的DQN-F方案相较于传统Q-learning和静态卸载策略，在能量效率与数据吞吐量方面表现如何？

主要发现

• DQN-F方案的能量效率达到7.37%（0.0737 Mb/Joule），优于DQN（6.89%）、Q-learning（6.79%）和静态卸载（6.31%）。
• 在高流量需求下（负载率 > 0.7），DQN-F相比Q-learning提升8%的能量效率，相比DQN提升6%。
• 在高需求组中，DQN-F将宏基站过载故障率降低至0.6%，而Q-learning为5.2%，DQN为4.6%。
• 通过集成流量预测，DQN-F在维持或提升性能的同时激活更少的小基站，相比DQN减少3%的能耗。
• 在高负载场景（负载组2–10）中，DQN-F比DQN多传输5%的数据，能耗降低3%，能量效率相比Q-learning提升10%。
• 预测组件提供了可量化的性能优势，且在更高流量负载下性能增益进一步提升，证实其在主动网络管理中的关键作用。