[论文解读] FALCON: Fast and Accurate Multipath Scheduling using Offline and Online Learning

H. Wu, Özgü Alay+3 more|arXiv (Cornell University)|Jan 22, 2022

Wireless Networks and Protocols被引用 9

一句话总结

FALCON 是一种基于学习的多路径调度器，结合离线元学习与在线微调，实现对动态网络条件的快速且准确的适应，在移动网络中性能优于最先进调度器高达 23.6%，适应时间减少近 8 倍。

ABSTRACT

Multipath transport protocols enable the concurrent use of different network paths, benefiting a fast and reliable data transmission. The scheduler of a multipath transport protocol determines how to distribute data packets over different paths. Existing multipath schedulers either conform to predefined policies or to online trained policies. The adoption of millimeter wave (mmWave) paths in 5th Generation (5G) networks and Wireless Local Area Networks (WLANs) introduces time-varying network conditions, under which the existing schedulers struggle to achieve fast and accurate adaptation. In this paper, we propose FALCON, a learning-based multipath scheduler that can adapt fast and accurately to time-varying network conditions. FALCON builds on the idea of meta-learning where offline learning is used to create a set of meta-models that represent coarse-grained network conditions, and online learning is used to bootstrap a specific model for the current fine-grained network conditions towards deriving the scheduling policy to deal with such conditions. Using trace-driven emulation experiments, we demonstrate FALCON outperforms the best state-of-the-art scheduler by up to 19.3% and 23.6% in static and mobile networks, respectively. Furthermore, we show FALCON is quite flexible to work with different types of applications such as bulk transfer and web services. Moreover, we observe FALCON has a much faster adaptation time compared to all the other learning-based schedulers, reaching almost an 8-fold speedup compared to the best of them. Finally, we have validated the emulation results in real-world settings illustrating that FALCON adapts well to the dynamicity of real networks, consistently outperforming all other schedulers.

研究动机与目标

• 为解决在时变网络条件下多路径调度器面临的快速且准确适应挑战，特别是在 5G 毫米波和 WLAN 环境中。
• 克服基于规则的调度器在动态条件下准确率不足的局限，以及在线学习调度器收敛速度慢的问题。
• 设计一种调度器，利用离线元学习预训练粗粒度模型，并通过在线学习快速适应细粒度的实时网络状态。
• 在仿真和真实网络环境中验证混合学习方法的有效性。
• 确保系统开销低且具备实际可部署性，特别是在资源受限的环境中。

提出的方法

• FALCON 通过在多样化历史网络条件下离线预训练一组元模型，利用元学习捕捉粗粒度模式。
• 在遇到新的网络条件时，FALCON 对最相关的元模型进行在线微调，以推导出特定任务的调度策略。
• 系统维持一个闭环学习机制，将在线经验持续反馈以更新离线元模型。
• 采用深度 Q 网络（DQN）作为在线学习组件，基于实时反馈优化路径选择决策。
• 调度器采用轻量级神经网络架构，以最小化推理开销，确保低 CPU 和内存使用率。
• 通过 trace 驱动的仿真和真实世界部署评估系统性能，以验证其适应性和效率。

实验结果

研究问题

• RQ1 混合离线-在线学习方法是否能提升在动态 5G 和 WLAN 环境下多路径调度的速度与准确性？
• RQ2 在快速变化的网络条件下，FALCON 的适应时间与现有基于学习的调度器相比如何？
• RQ3 FALCON 在吞吐量和可靠性方面，相较于基于规则和纯在线学习的调度器，优势有多大？
• RQ4 FALCON 在在线推理和训练过程中，CPU 和内存使用率的系统开销如何？
• RQ5 FALCON 在不同应用类型（如批量传输和 Web 服务）中的泛化能力如何？

主要发现

• 在静态网络中，FALCON 的吞吐量优于最先进调度器最高达 19.3%；在移动网络中，最高提升达 23.6%。
• 与现有最快的基于学习的调度器相比，FALCON 的适应时间实现近 8 倍的加速。
• FALCON 的平均 CPU 使用率仅比 minRTT 高 3%，内存使用率仅高 6%，表明系统开销极低。
• FALCON 在包括批量数据传输和 Web 服务在内的多种应用中均保持一致的高性能，展现出强大的泛化能力。
• 真实世界验证表明，FALCON 能够良好适应动态网络条件，并持续优于所有基线调度器。
• 在线与离线学习之间的闭环反馈机制使元模型能够随时间持续改进。