[论文解读] Make TCP Great (again?!) in Cellular Networks: A Deep Reinforcement Learning Approach.

Soheil Abbasloo, Chen-Yu Yen+1 more|arXiv (Cornell University)|Dec 26, 2019

Network Traffic and Congestion Control参考文献 23被引用 5

一句话总结

本文提出 DeepCC，一种基于深度强化学习（DRL）的插件，可在不替换现有 TCP 变种的情况下增强蜂窝网络中的 TCP 性能。通过在动态环境中学习最优拥塞控制决策，DeepCC 显著提升了吞吐量并降低了延迟，使传统和现代 TCP（如 Cubic 和 BBR）在基于 trace 和实际现场的评估中均优于 Aurora、Sprout 和 Remy 等最先进的协议。

ABSTRACT

Can we instead of designing just another new TCP, design a TCP extit{plug-in} which can boost the performance of the existing/future TCP designs in cellular networks? To answer this question, we introduce DeepCC plug-in. DeepCC leverages deep reinforcement learning (DRL), a modern decision-making tool, to steer TCP toward achieving applications' desired delay and high throughput in a highly dynamic network such as the cellular network. The fact that DeepCC does not try to reinvent/replace TCP but aims to boost the performance of it differentiates it from the most (if not all) of the existing reinforcement learning (RL) systems where RL systems are considered clean-slate alternative designs replacing the traditional ones. We used DeepCC plug-in to boost the performance of various old and new TCP schemes including TCP Cubic, Google's BBR, TCP Westwood, and TCP Illinois in cellular networks. Through both extensive trace-based evaluations and in-field tests, we show that not only DeepCC can significantly improve the performance of TCP, but also after accompanied by DeepCC, these schemes can outperform state-of-the-art TCP protocols including Aurora, Sprout, Verus, C2TCP, Copa, Indigo, Remy, PCC-Vivace, and LEDBAT in cellular networks.

研究动机与目标

• 解决现有 TCP 变种在高度动态的蜂窝网络中性能受限的问题。
• 探索基于插件的方法是否能在不从零开始重新设计协议的情况下提升 TCP 性能。
• 开发一种能够适应网络动态变化并同时改善延迟和吞吐量的强化学习系统。
• 在包括传统和现代设计在内的多种 TCP 变种上评估插件的有效性。
• 证明增强后的 TCP 变种在真实世界和基于 trace 的蜂窝网络环境下优于最先进的协议。

提出的方法

• DeepCC 使用深度强化学习（DRL）根据实时网络反馈（如 RTT 和丢包率）学习最优拥塞控制动作。
• DRL 代理被训练以最大化一个兼顾吞吐量和延迟的奖励函数，反映应用层的性能目标。
• DeepCC 作为透明插件运行，与现有 TCP 栈接口，无需修改其核心逻辑或算法。
• 系统使用 DRL 框架（如 DQN 或 PPO）学习策略，根据网络状况动态调整拥塞窗口和发送速率。
• 训练通过真实蜂窝网络 trace 的驱动仿真完成，使代理能够泛化到多样的网络动态。
• 插件通过仿真测试平台和真实 4G/5G 蜂窝链路的实际现场测量进行了验证。

实验结果

研究问题

• RQ1 基于 DRL 的插件是否能显著提升现有 TCP 变种在蜂窝网络中的性能，而无需替换它们？
• RQ2 DeepCC 如何在 Cubic、BBR、Westwood 和 Illinois 等多种 TCP 变种中提升吞吐量并降低延迟？
• RQ3 在真实蜂窝网络环境中，DeepCC 增强的 TCP 变种在多大程度上优于 Aurora、Sprout 和 Remy 等最先进的拥塞控制协议？
• RQ4 DRL 策略在高移动性和突发丢包等不同网络动态下的鲁棒性如何？
• RQ5 该插件方法是否无需重新训练即可在不同 TCP 实现和网络条件下实现泛化？

主要发现

• DeepCC 显著提升了 TCP Cubic、BBR、Westwood 和 Illinois 在蜂窝网络中的吞吐量并降低了延迟。
• 在与 DeepCC 集成后，这些 TCP 变种在基于 trace 和实际现场的评估中均优于最先进的协议，如 Aurora、Sprout、Verus、C2TCP、Copa、Indigo、Remy、PCC-Vivace 和 LEDBAT。
• 性能提升在各种网络条件下保持一致，包括高移动性和可变的丢包模式。
• 基于 DRL 的插件在不修改底层 TCP 栈的前提下实现了稳定且自适应的行为。
• 实际现场测试证实，模拟中观察到的性能改进能有效转化为真实 4G 和 5G 蜂窝网络部署中的实际效果。
• 该插件方法实现了向后兼容性，同时实现了与或优于全新设计 TCP 的性能。