[论文解读] Reinforcement Learning based QoS/QoE-aware Service Function Chaining in Software-Driven 5G Slices

Xi Chen, Zonghang Li+5 more|arXiv (Cornell University)|Apr 6, 2018

Software-Defined Networks and 5G被引用 5

一句话总结

该论文提出了一种基于深度Q网络（DQN）的强化学习框架，用于软件定义网络/网络功能虚拟化（SDN/NFV）增强的5G网络切片中的QoS/QoE感知服务功能链（SFC）。该框架采用轻量级LLDP-based QoS采集器，并结合QoE与QoS约束的奖励函数，训练一个智能体以动态选择最优SFC路径，在动态环境中实现高QoE的同时保持QoS性能。

ABSTRACT

With the ever growing diversity of devices and applications that will be connected to 5G networks, flexible and agile service orchestration with acknowledged QoE that satisfies end-user's functional and QoS requirements is necessary. SDN (Software-Defined Networking) and NFV (Network Function Virtualization) are considered key enabling technologies for 5G core networks. In this regard, this paper proposes a reinforcement learning based QoS/QoE-aware Service Function Chaining (SFC) in SDN/NFV-enabled 5G slices. First, it implements a lightweight QoS information collector based on LLDP, which works in a piggyback fashion on the southbound interface of the SDN controller, to enable QoS-awareness. Then, a DQN (Deep Q Network) based agent framework is designed to support SFC in the context of NFV. The agent takes into account the QoE and QoS as key aspects to formulate the reward so that it is expected to maximize QoE while respecting QoS constraints. The experiment results show that this framework exhibits good performance in QoE provisioning and QoS requirements maintenance for SFC in dynamic network environments.

研究动机与目标

• 解决5G网络中多样化应用与设备带来的灵活且敏捷的服务编排挑战。
• 在软件定义的5G网络切片中实现QoE感知与QoS约束的服务功能链（SFC）。
• 设计一种智能、自适应的SFC决策机制，平衡用户质量体验（QoE）与网络服务质量（QoS）。
• 将强化学习集成到SDN/NFV架构中，以支持对网络变化实时响应的动态SFC配置。

提出的方法

• 提出一种轻量级QoS信息采集器，通过SDN控制器南向接口以捎带方式使用LLDP。
• 设计一种基于DQN的智能体框架，根据实时网络状态与用户需求做出SFC决策。
• 定义一种复合奖励函数，综合考虑QoE（用户体验）与QoS（网络性能）指标。
• 利用深度强化学习训练智能体，选择能最大化QoE同时满足QoS约束的最优SFC路径。
• 将智能体集成到SDN/NFV架构中，实现5G切片中动态、策略驱动的SFC编排。
• 采用分层决策模型，智能体基于奖励最大化选择网络功能及其顺序。

实验结果

研究问题

• RQ1 如何在动态5G网络切片中，通过强化学习联合优化QoS与QoE？
• RQ2 在SDN/NFV环境中，集成LLDP-based QoS监控对SFC决策性能有何影响？
• RQ3 基于DQN的智能体能否在实时SFC配置中有效学习平衡QoE与QoS约束？
• RQ4 所提出的框架在动态网络条件下如何在满足QoS要求的同时最大化用户QoE？
• RQ5 在不同流量与网络负载模式下，基于DQN的SFC框架具有怎样的可扩展性与适应性？

主要发现

• 所提出的基于DQN的SFC框架在动态网络环境中相比基线方法显著提升了QoE提供能力。
• 基于LLDP的QoS采集器实现了高效、低开销的网络性能指标监控，对控制平面开销影响极小。
• 该框架在不同网络条件下成功维持了QoS约束（如时延、抖动），表现出强鲁棒性。
• 实验结果表明，智能体在合理数量的训练回合内收敛至最优SFC路径，表明学习效果良好。
• 奖励函数中同时集成QoE与QoS显著提升了SFC决策的用户中心性，更真实反映终端用户满意度。
• 由于通过DQN实现持续在线学习，该框架对网络动态变化（如链路故障与流量波动）表现出强大的适应能力。