[论文解读] HyMER: A Hybrid Machine Learning Framework for Energy Efficient Routing in SDN.

Beakal Gizachew Assefa, Öznur Özkasap|arXiv (Cornell University)|Aug 27, 2019

Software-Defined Networks and 5G参考文献 20被引用 9

一句话总结

HyMER 是一种新颖的混合机器学习框架，用于软件定义网络（SDN）中的节能路由，结合了监督学习进行特征压缩和参数预测，以及强化学习以实现动态适应。与现有最先进方法相比，其特征尺寸减少高达 70%，预测准确率超过 80%，链路节省 50%，功耗降低 14.7W。

ABSTRACT

Software-defined networks (SDN) with programmable data plane and machine learning for discovering patterns are utilized in security, traffic classification, quality of services prediction, and network performance, that has increasing research attention. Addressing the significance of energy efficiency in networks, we propose a novel hybrid machine learning-based framework named HyMER that combines the capabilities of SDN and machine learning for traffic-aware energy efficient routing. To the best of our knowledge, HyMER is the first that utilizes a hybrid machine learning solution with supervised and reinforcement learning components for energy efficiency and network performance in SDN. The supervised learning component consists of feature extraction, training, and testing. The reinforcement learning component learns from existing data or from scratch by iteratively interacting with the network environment. The HyMER framework is developed on POX controller and is evaluated on Mininet using real-world topologies and dynamic traffic traces. Experimental results show that the supervised component achieves up to 70% feature size reduction and more than 80\% accuracy in parameter prediction. We demonstrate that combining the supervised and reinforcement methods not only does capture the dynamic change more efficiently but also increases the convergence speed. As compared to state-of-the-art utility based energy saving approaches, HyMER heuristics has shown up to 50% link saving, and also exhibits up to 14.7 watts less power consumption for realistic network topology and traffic traces.

研究动机与目标

• 应对软件定义网络（SDN）中日益增长的节能需求，以降低运营成本并减少环境影响。
• 克服现有节能方法在应对动态流量模式时缺乏适应性的局限。
• 开发一种混合机器学习框架，整合监督学习与强化学习，以提升 SDN 中的能量效率和网络性能。
• 实现基于实时流量感知的路由决策，优化能耗，同时保持高性能。

提出的方法

• 采用监督学习进行特征提取、训练和测试，将特征维度减少高达 70%。
• 利用强化学习通过与网络环境的交互，迭代学习最优路由策略。
• 整合两种学习组件，以提升收敛速度并增强对动态流量变化的适应能力。
• 在 POX 控制器上实现该框架，并使用 Mininet 结合真实世界拓扑和动态流量 trace 进行评估。
• 将监督学习的参数预测结果作为输入，引导强化学习策略探索。
• 设计一种混合架构，使监督学习通过提供有根据的初始策略估计，加速强化学习过程。

实验结果

研究问题

• RQ1 结合监督学习与强化学习的混合机器学习框架能否提升 SDN 中的能量效率？
• RQ2 监督学习组件在减少特征尺寸和准确预测网络参数方面的有效性如何？
• RQ3 监督学习与强化学习的集成在多大程度上提升了收敛速度和对动态流量的适应能力？
• RQ4 与现有最先进基于效用的节能方法相比，HyMER 在链路利用率和功耗方面表现如何？

主要发现

• 监督学习组件在将特征尺寸减少高达 70% 的同时，对网络参数的预测准确率保持在 80% 以上。
• 由于监督学习提供了有根据的初始化，混合方法相比仅使用强化学习收敛速度更快。
• 在动态流量条件下，HyMER 在真实网络拓扑中实现了高达 50% 的链路节省。
• 与现有最先进基于效用的节能方法相比，该框架将功耗降低了高达 14.7 瓦。
• 两种学习范式的集成使系统对动态流量变化的适应效率高于单独使用任一方法。
• 在 Mininet 上使用真实世界拓扑的评估结果证实了该框架在多样化流量工作负载下的可扩展性和鲁棒性。