[论文解读] Internet Congestion Control via Deep Reinforcement Learning

Nathan Jay, Noga H. Rotman+3 more|arXiv (Cornell University)|Oct 8, 2018

Software-Defined Networks and 5G参考文献 37被引用 21

一句话总结

本文提出Aurora，一种基于深度强化学习（RL）的拥塞控制协议，通过学习区分拥塞导致的丢包与非拥塞导致的丢包，实现更高的链路利用率，优于现有最先进方法。该协议使用通过强化学习训练的深度神经网络策略，基于本地反馈自适应调整发送速率，在动态网络条件下表现出优越性能，同时突出了在公平性、安全性及泛化能力方面的真实部署挑战。

ABSTRACT

We present and investigate a novel and timely application domain for deep reinforcement learning (RL): Internet congestion control. Congestion control is the core networking task of modulating traffic sources' data-transmission rates to efficiently utilize network capacity, and is the subject of extensive attention in light of the advent of Internet services such as live video, virtual reality, Internet-of-Things, and more. We show that casting congestion control as RL enables training deep network policies that capture intricate patterns in data traffic and network conditions, and leverage this to outperform the state-of-the-art. We also highlight significant challenges facing real-world adoption of RL-based congestion control, including fairness, safety, and generalization, which are not trivial to address within conventional RL formalism. To facilitate further research and reproducibility of our results, we present a test suite for RL-guided congestion control based on the OpenAI Gym interface.

研究动机与目标

• 探究深度强化学习作为互联网拥塞控制的新型方法，解决传统协议（如TCP）的局限性。
• 使拥塞控制协议能够从本地反馈中学习流量与网络条件的复杂模式，提升效率与用户体验。
• 评估深度强化学习是否能在动态、类真实网络环境中超越现有最先进拥塞控制机制。
• 识别并解决真实部署中RL-based拥塞控制的关键挑战——公平性、安全性与泛化能力。
• 通过兼容OpenAI Gym的测试套件，提供可复现的基准测试框架，以加速未来基于强化学习的拥塞控制研究。

提出的方法

• 作者将拥塞控制建模为序列决策问题，发送端的传输速率由基于本地反馈历史（如RTT、丢包模式）的深度神经网络策略决定。
• 使用深度Q网络（DQN）或类似深度强化学习算法训练策略，以最大化长期网络效用，奖励函数被设计以反映吞吐量、公平性与延迟。
• 通过观察丢包模式与发送速率变化的相关性，策略学习区分随机（非拥塞）丢包与拥塞导致的丢包。
• 在具有可变带宽、缓冲区大小与丢包率的仿真环境中训练系统，采用鼓励高吞吐量与低丢包率的奖励函数。
• 框架基于OpenAI Gym接口实现，支持可复现的评估与与现有强化学习基线的集成。
• 通过经验回放与目标网络等深度强化学习常用技术，支持在多样化网络条件下实现泛化。

实验结果

研究问题

• RQ1 深度强化学习能否学习区分拥塞导致与非拥塞导致的丢包，从而实现优于传统TCP变体的速率自适应？
• RQ2 在可变网络条件下，RL-based拥塞控制协议在链路利用率与吞吐量方面，相较于TCP-CUBIC等最先进协议，能实现多大程度的性能提升？
• RQ3 哪些关键挑战（如公平性、安全性与泛化能力）阻碍了RL-based拥塞控制协议的真实世界部署？
• RQ4 与在线学习（如PCC）和离线优化（如Remy）相比，RL-based协议在适应性与鲁棒性方面表现如何？
• RQ5 深度RL策略是否能在无需重新训练的情况下，泛化至多样化网络拓扑与流量模式？

主要发现

• 在30 Mbps链路、1%随机丢包条件下，基于RL的协议Aurora相比TCP-CUBIC实现了显著更高的链路利用率，保持高吞吐量且不对非拥塞丢包过度反应。
• Aurora成功学习在随机丢包后提升发送速率（此类丢包不表示拥塞），而在实际网络拥塞导致的丢包时避免速率增加。
• 该协议通过适应可变带宽与缓冲区大小等动态网络条件，在动态环境中表现出色，某些场景下优于TCP-CUBIC与PCC。
• 研究识别出公平性、安全性和泛化能力是真实世界RL-based拥塞控制的主要挑战，这些挑战在标准RL形式化中难以解决。
• 作者发布了基于OpenAI Gym的可复现测试套件，支持标准化基准测试，加速未来在深度强化学习拥塞控制领域的研究。
• 与离线优化（如Remy）和在线学习（如PCC）相比，Aurora通过经验学习并适应当前网络规律，在真实、非独立同分布（non-i.i.d.）条件下实现更高性能。