[论文解读] Auto-Scaling Network Resources using Machine Learning to Improve QoS and Reduce Cost

Sabidur Rahman, Tanjila Ahmed+3 more|arXiv (Cornell University)|Aug 9, 2018

Software-Defined Networks and 5G参考文献 19被引用 9

一句话总结

本文提出了一种基于主动机器学习（ML）的虚拟网络功能（VNF）自动伸缩框架，通过历史流量模式和系统特性预测最优的VNF实例数量。通过将自动伸缩问题转化为监督分类任务，该方法在多种虚拟化技术（Xen、KVM、Docker、LXC）中均实现了高精度，显著提升了服务质量（QoS）并降低了运营成本，优于传统反应式方法，其优势源于特征工程、学习曲线分析以及基于主成分分析（PCA）的特征选择。

ABSTRACT

Virtualization of network functions (as virtual routers, virtual firewalls, etc.) enables network owners to efficiently respond to the increasing dynamicity of network services. Virtual Network Functions (VNFs) are easy to deploy, update, monitor, and manage. The number of VNF instances, similar to generic computing resources in cloud, can be easily scaled based on load. Hence, auto-scaling (of resources without human intervention) has been receiving attention. Prior studies on auto-scaling use measured network traffic load to dynamically react to traffic changes. In this study, we propose a proactive Machine Learning (ML) based approach to perform auto-scaling of VNFs in response to dynamic traffic changes. Our proposed ML classifier learns from past VNF scaling decisions and seasonal/spatial behavior of network traffic load to generate scaling decisions ahead of time. Compared to existing approaches for ML-based auto-scaling, our study explores how the properties (e.g., start-up time) of underlying virtualization technology impacts Quality of Service (QoS) and cost savings. We consider four different virtualization technologies: Xen and KVM, based on hypervisor virtualization, and Docker and LXC, based on container virtualization. Our results show promising accuracy of the ML classifier using real data collected from a private ISP. We report in-depth analysis of the learning process (learning-curve analysis), feature ranking (feature selection, Principal Component Analysis (PCA), etc.), impact of different sets of features, training time, and testing time. Our results show how the proposed methods improve QoS and reduce operational cost for network owners. We also demonstrate a practical use-case example (Software-Defined Wide Area Network (SD-WAN) with VNFs and backbone network) to show that our ML methods save significant cost for network service leasers.

研究动机与目标

• 解决在动态网络环境中反应式、基于阈值的自动伸缩方法存在的局限性。
• 开发一种基于主动机器学习的自动伸缩系统，利用历史数据和系统特征预测流量变化。
• 评估不同虚拟化技术（虚拟机监控器与容器）对自动伸缩准确性、QoS及成本的影响。
• 对特征重要性、学习曲线以及模型训练/测试效率进行深入分析，以支持实际部署。
• 在真实SD-WAN用例中，通过VNF和骨干网络验证成本与QoS的改进效果。

提出的方法

• 将自动伸缩问题重新定义为监督机器学习分类任务，输出为所需VNF实例的数量。
• 定义两种分类策略：以QoS为优先的机器学习（QML）和以成本为优先的机器学习（CML），基于对未来流量负载的预测，分别确保QoS或最小化过度配置。
• 输入特征包括时间属性（如月份中的日期、钟点、工作日/周末）以及近期的流量负载值及其变化（最多27个特征），覆盖多个时间窗口。
• 使用真实ISP流量轨迹对机器学习分类器进行训练，采用WEKA中表现最佳的7种算法，通过准确率、精确率和F1值进行评估。
• 应用特征选择、主成分分析（PCA）和学习曲线分析，以评估特征影响及模型收敛性。
• 测量训练与测试时间，以评估实时部署的可行性，并在包含VNF和骨干网络的实际SD-WAN用例中验证该方法。

实验结果

研究问题

• RQ1 与反应式阈值方法相比，主动机器学习驱动的自动伸缩方法在提升QoS和降低运营成本方面有何改进？
• RQ2 不同虚拟化技术（Xen、KVM、Docker、LXC）对自动伸缩准确性和性能有何影响？
• RQ3 哪组基于时间与流量的特征能为VNF伸缩决策提供最高的分类准确率？
• RQ4 训练数据量大小与特征选择如何影响模型学习与泛化能力？
• RQ5 在使用QML与CML策略时，QoS与成本节约之间存在何种权衡？

主要发现

• 所提出的基于机器学习的自动伸缩框架在预测最优VNF实例数量方面表现出高分类准确率，显著提升了QoS并降低了成本。
• QML在保障QoS方面优于CML，因其优先考虑未来流量高峰；而CML则通过减少过度配置降低了运营成本。
• 通过整合时间模式（如一天中的钟点、星期几）和流量变化趋势（如过去时间段的Δλ）进行特征工程，显著提升了模型准确率。
• 学习曲线分析表明，模型性能在中等规模训练数据下即趋于稳定，表明在真实ISP轨迹数据下具备高效学习能力。
• PCA与特征选择识别出最具影响力的特征，证实近期流量变化和一天中时间模式对预测至关重要。
• 训练与测试时间处于实际可行范围内，证明该方法可在生产网络环境中实现实时部署。