[论文解读] A Machine Learning Approach to Routing

Asaf Valadarsky, Michael Schapira+2 more|arXiv (Cornell University)|Aug 10, 2017

Software-Defined Networks and 5G参考文献 28被引用 19

一句话总结

本文提出一种基于深度强化学习的机器学习方法，用于域内流量工程，可自动生成高性能路由配置。结果表明，直接从历史流量映射到路由规则的端到端学习方法优于传统方法和监督式需求预测方法，在合成流量模式下实现了接近最优的拥塞性能。

ABSTRACT

Can ideas and techniques from machine learning be leveraged to automatically generate "good" routing configurations? We investigate the power of data-driven routing protocols. Our results suggest that applying ideas and techniques from deep reinforcement learning to this context yields high performance, motivating further research along these lines.

研究动机与目标

• 探究机器学习是否能够取代传统的人工设计路由协议在域内流量工程中的应用。
• 解决将路由问题形式化为机器学习问题的挑战，特别是在高维输出空间中的应用。
• 评估是否可直接从历史流量数据学习路由配置，从而优于先预测未来流量需求的方法。
• 开发可扩展且表达能力强的路由策略表示方法，在性能与复杂度之间取得平衡。
• 为数据驱动的网络路由研究建立更广泛的研究基础。

提出的方法

• 将域内流量工程形式化为强化学习问题，其中智能体学习从流量历史到路由配置的策略映射。
• 采用深度强化学习方法，结合信任区域策略优化（TRPO）算法，在合成流量需求序列上训练智能体。
• 采用基于softmin的路由表示方法，将流量拆分到多个下一跳，从而在保持表达能力的同时实现高效策略学习。
• 将学习得到的策略与基线路由方案进行比较：无感知路由、最坏情况优化路由和softmin路由。
• 在合成流量需求序列上训练并评估策略，包括引力模型和双峰分布等模式。
• 以最大链路利用率作为主要性能指标，评估拥塞性能。

实验结果

研究问题

• RQ1 深度强化学习能否有效直接从历史流量数据学习路由配置，从而跳过显式的流量需求预测？
• RQ2 机器学习引导的路由性能与传统人工设计的路由方案（如无感知路由和最坏情况优化路由）相比如何？
• RQ3 由于路由输出空间具有高维且基于规则的特性，将强化学习应用于路由时面临哪些关键挑战？
• RQ4 像softmin路由这样的约束输出表示是否能在保持表达能力的同时实现有效的学习？
• RQ5 在何种流量条件下，数据驱动的路由方法能显著优于传统方法？

主要发现

• 深度强化学习成功学习到的路由策略在多种流量模式下均能实现接近最优的最大链路利用率性能。
• 通过强化学习训练的softmin路由在双峰流量需求序列上，优于无感知路由和最坏情况优化路由。
• 在基于引力的流量模式下，softmin路由的性能几乎与无感知路由相当，表明其具备强大的泛化潜力。
• 监督式学习用于流量需求预测被发现效果不佳，原因在于流量模式缺乏规律性，限制了其在此场景下的实用性。
• 使用softmin路由表示方法，即使在路由规则集维度较高的情况下，也能实现有效的策略学习。
• 基于强化学习的路由方法在稳定性和适应性之间展现出良好平衡，但可扩展性与真实世界评估仍是待解决的挑战。