[论文解读] Latency and Throughput Optimization in Modern Networks: A Comprehensive Survey

Amir Mirzaeinnia, Mehdi Mirzaeinia+1 more|arXiv (Cornell University)|Sep 1, 2020

Network Time Synchronization Technologies被引用 5

一句话总结

本篇全面综述回顾了现代网络（包括有线、无线、数据中心和5G环境）中延迟与吞吐量优化技术。它评估了传统的拥塞控制机制，并突出强调了机器学习（尤其是深度强化学习）在实现自适应、智能的速率与拥塞控制方面日益增长的作用，以应对多样化的网络条件和动态的流量工作负载。

ABSTRACT

Modern applications are highly sensitive to communication delays and throughput. This paper surveys major attempts on reducing latency and increasing the throughput. These methods are surveyed on different networks and surroundings such as wired networks, wireless networks, application layer transport control, Remote Direct Memory Access, and machine learning based transport control.

研究动机与目标

• 分析传统延迟与吞吐量优化技术在多样化网络环境中所经历的演变及其局限性。
• 识别在异构网络（如数据中心、5G和无线系统）中实现最优性能所面临的挑战。
• 评估机器学习（尤其是深度强化学习）在实现自适应、智能拥塞与速率控制机制方面的潜力。
• 提供现有方法的结构化分类，并指出当前研究中的空白。

提出的方法

• 根据网络类型（有线、无线、数据中心、5G）、传输层协议和控制机制对延迟与吞吐量优化技术进行分类。
• 回顾经典拥塞控制机制，包括TCP变种（如TCP Reno、Vegas、Westwood、DCTCP）、基于窗口和基于速率的控制。
• 分析应用于TCP流控制和拥塞窗口自适应的基于机器学习的方法，包括Q-learning、SARSA和PPO。
• 研究使用网络状态特征（如RTT、吞吐量、丢包率和延迟梯度）作为输入的强化学习智能体。
• 基于结合吞吐量、延迟和丢包率的效用指标（例如，U = log(tp) − δ1·log(d) + δ2·log(1−p)）评估奖励函数。
• 调查机器学习在准入控制、资源分配和网络功能虚拟化（NFV）中的应用。

实验结果

研究问题

• RQ1 传统拥塞控制机制在高BDP、丢包率高和速率可变的链路等多样化网络环境中表现如何？
• RQ2 在动态和异构网络条件下，机器学习（尤其是深度强化学习）在多大程度上能够超越基于经典TCP的拥塞控制？
• RQ3 哪些关键的网络状态特征和奖励函数能够实现高效的基于强化学习的拥塞控制？
• RQ4 不同的强化学习算法（如PPO、SARSA、A3C）在实时网络控制中优化延迟与吞吐量方面表现如何比较？
• RQ5 在开发通用、自适应且可扩展的延迟与吞吐量优化框架方面，当前存在哪些开放性挑战和未来研究方向？

主要发现

• 基于机器学习的拥塞控制，尤其是深度强化学习，相较于静态TCP变种，在多样化网络条件下的适应性表现更优。
• 结合吞吐量、RTT和丢包率的奖励函数（如U = log(tp) − δ1·log(d) + δ2·log(1−p)）显著提升了控制性能与稳定性。
• 基于强化学习的智能体（如QTCP和RL-TCP）通过学习ACK到达时间间隔和RTT梯度等网络状态统计量，实现了更快的收敛速度和更优的吞吐量-延迟权衡。
• DRL模型（如PPO）能有效区分拥塞导致的丢包与非拥塞导致的丢包，从而在高速网络中提升公平性与效率。
• 在LTE和5G网络中，利用神经网络实现的准入控制可通过对历史会话影响的学习，提升QoS预测与资源利用率。
• 该综述指出缺乏通用优化机制，强调需通过元学习和模仿学习来实现对动态网络场景的泛化能力。