[论文解读] Deep Reinforcement Learning for Resource Management in Network Slicing

Rongpeng Li, Zhifeng Zhao+6 more|arXiv (Cornell University)|May 17, 2018

Software-Defined Networks and 5G参考文献 18被引用 7

一句话总结

本文提出使用深度Q学习（DQL）实现5G网络切片中智能的、按需的资源管理，根据用户活动和切片优先级动态分配无线和核心网络资源。仿真结果表明，与非优先级基线相比，DQL将平均流等待时间减少了10.5%，CPU利用率提高了27.9%，在动态、资源受限的环境中展现出更优的QoE和效率。

ABSTRACT

Network slicing is born as an emerging business to operators, by allowing them to sell the customized slices to various tenants at different prices. In order to provide better-performing and cost-efficient services, network slicing involves challenging technical issues and urgently looks forward to intelligent innovations to make the resource management consistent with users' activities per slice. In that regard, deep reinforcement learning (DRL), which focuses on how to interact with the environment by trying alternative actions and reinforcing the tendency actions producing more rewarding consequences, is assumed to be a promising solution. In this paper, after briefly reviewing the fundamental concepts of DRL, we investigate the application of DRL in solving some typical resource management for network slicing scenarios, which include radio resource slicing and priority-based core network slicing, and demonstrate the advantage of DRL over several competing schemes through extensive simulations. Finally, we also discuss the possible challenges to apply DRL in network slicing from a general perspective.

研究动机与目标

• 为解决5G网络切片中动态、按需的资源分配挑战，其中不同切片的用户活动和SLA要求存在显著差异。
• 评估深度强化学习（DRL），特别是深度Q学习（DQL），是否能在实时、动态约束下有效管理资源分配。
• 在无线和核心网络切片场景下，对比DQL与直观的和基于预测的资源管理方案的性能表现。
• 识别将DRL应用于实际网络切片时的关键挑战，包括状态/动作抽象、奖励延迟以及策略训练成本。

提出的方法

• 使用深度Q学习（DQL），一种深度强化学习方法，通过与仿真网络环境的交互学习最优资源分配策略。
• 基于近期流统计信息（如到达时间、类别）定义状态表示，动作空间则为针对特定切片或SFC的资源分配决策。
• 采用神经网络近似Q值函数，实现在大规模连续状态-动作空间中的泛化能力。
• 使用具有对数正态到达间隔时间的合成流轨迹对DQL智能体进行预训练，以模拟三种优先级类别的真实用户行为。
• 采用加权奖励函数，结合处理时间和队列时间，对高优先级流赋予更高权重，以反映其商业价值。
• 通过10,000个流的大量仿真，评估等待时间、CPU利用率和公平性等指标下的性能表现。

实验结果

研究问题

• RQ1 深度强化学习能否有效管理具有不同用户活动和优先级要求的网络切片子孙中的动态、按需资源分配？
• RQ2 与直观的、非优先级基线的资源分配方案相比，DQL在等待时间和资源利用率方面表现如何？
• RQ3 在实时网络切片中部署DRL时，关键挑战是什么，特别是关于状态抽象、奖励反馈和训练延迟方面？
• RQ4 DRL能否在无需显式预测模型的情况下，隐式建模用户需求与资源供给之间的复杂关系？

主要发现

• 与非优先级基线相比，DQL将平均流等待时间减少了10.5%，表明对高价值用户的响应能力得到提升。
• 与非优先级基线相比，DQL使CPU利用率提高了27.9%，表明计算资源的利用更加高效。
• DQL智能体即使在无显式需求预测的情况下，也能通过奖励塑造有效优先处理高优先级流。
• 在标准CPU上，对核心网络切片子孙任务进行DQL策略预训练约需两天时间，凸显了策略学习的高计算成本。
• 本研究识别出四大关键挑战：动态切片准入控制、适当的抽象状态/动作设计、奖励反馈延迟以及高策略训练成本。
• DRL在智能网络切片中展现出巨大潜力，但实际部署仍需解决延迟、抽象和训练效率等问题。