[论文解读] Deep Q-Learning for Dynamic Reliability Aware NFV-Based Service Provisioning

Hamed Rahmani Khezri, Puria Azadi Moghadam+4 more|arXiv (Cornell University)|Dec 3, 2018

Software-Defined Networks and 5G参考文献 14被引用 10

一句话总结

本文提出了一种基于深度Q网络（DQN）的NFV网络动态服务放置框架，联合最小化放置成本并最大化接纳率，同时满足服务可靠性要求。DQN智能体通过经验回放和ε-greedy探索机制实时学习最优服务器分配策略，在不同可靠性需求和业务离开概率下仍能实现高接纳率。

ABSTRACT

Network function virtualization (NFV) is referred to the technology in which softwarized network functions virtually run on commodity servers. Such functions are called virtual network functions (VNFs). A specific service is composed of a set of VNFs. This is a paradigm shift for service provisioning in telecom networks which introduces new design and implementation challenges. One of these challenges is to meet the reliability requirement of the requested services considering the reliability of the commodity servers. VNF placement which is the problem of assigning commodity servers to the VNFs becomes crucial under such circumstances. To address such an issue, in this paper, we employ Deep Q-Network (DQN) to model NFV placement problem considering the reliability requirement of the services. The output of the introduced model determines what placement will be optimal in each state. Numerical evaluations show that the introduced model can significantly improve the performance of the network operator.

研究动机与目标

• 解决在服务器可靠性各异且服务需求变化的NFV环境中，动态、可靠性感知的虚拟网络功能（VNF）放置挑战。
• 在严格可靠性约束下，最小化放置成本的同时最大化接纳的服务数量。
• 将NFV放置问题建模为强化学习任务，使网络运营商通过与环境的交互学习最优策略。
• 设计一个DQN智能体，包含状态、动作、奖励和记忆组件，以适配NFV服务供应中的可靠性与资源约束。

提出的方法

• 使用包含当前服务器资源可用性、服务可靠性要求以及VNF链配置在内的状态表示来训练DQN智能体。
• 动作对应于服务链中每个VNF在可用服务器上的具体分配，选择基于资源和可靠性约束。
• 奖励函数被设计为激励可靠放置：当实际放置可靠性接近请求的可靠性时获得更高奖励，失败或成本超支则施加惩罚。
• 使用经验回放存储转移数据（状态、动作、奖励、下一状态），通过打破时间相关性实现稳定训练。
• 采用ε-greedy探索策略，ε随时间衰减，以在学习过程中平衡探索与利用。
• 使用具有ReLU和tanh激活函数、Dropout正则化以及均方误差损失的全连接深度神经网络来近似Q值函数。

实验结果

研究问题

• RQ1 基于DQN的方法能否在服务器可靠性异构的多租户NFV环境中有效学习动态、可靠性感知的VNF放置策略？
• RQ2 DQN智能体在实时服务供应中如何平衡成本最小化与可靠性最大化？
• RQ3 DQN智能体在不同服务可靠性需求和离开概率下的收敛行为与性能表现如何？
• RQ4 经验回放与ε-greedy探索的引入如何影响该NFV场景下DQN智能体的稳定性和学习效率？

主要发现

• DQN智能体成功随时间自适应调整其放置策略，在所有服务类型中均实现了稳定且高的接纳率，约在10,000个时间步后实现收敛。
• 对于可靠性要求更高的服务（如95%），收敛时间更长，最终接纳率更低，表明满足严格可靠性约束更具挑战性。
• 随着服务离开概率降低，接纳率下降，证实了该方法对动态服务波动的敏感性，凸显了自适应放置的重要性。
• DQN智能体在不同离开概率下表现出鲁棒性，维持了跨不同服务动态的一致性能。
• 经验回放与ε-greedy探索的使用实现了稳定学习并防止了过拟合，表现为训练各周期间性能一致。
• 奖励函数有效引导智能体实现与请求可靠性水平接近的放置，最小化了资源不足与过度配置。