[论文解读] Iroko: A Framework to Prototype Reinforcement Learning for Data Center Traffic Control

Fabian Ruffy, Michael Przystupa+1 more|arXiv (Cornell University)|Dec 24, 2018

Software-Defined Networks and 5G参考文献 49被引用 20

一句话总结

Iroko 是一个用于数据中心流量控制的开源强化学习（RL）仿真器，可与 OpenAI Gym 集成，实现对 RL 和传统拥塞控制（CC）算法的公平、可复现的基准测试。它表明 DDPG 和 PPO 在哑铃形和胖树形拓扑中均优于 TCP New Vegas 的奖励和队列管理表现，展示了 RL 在主动、高性能数据中心网络中的潜力。

ABSTRACT

Recent networking research has identified that data-driven congestion control (CC) can be more efficient than traditional CC in TCP. Deep reinforcement learning (RL), in particular, has the potential to learn optimal network policies. However, RL suffers from instability and over-fitting, deficiencies which so far render it unacceptable for use in datacenter networks. In this paper, we analyze the requirements for RL to succeed in the datacenter context. We present a new emulator, Iroko, which we developed to support different network topologies, congestion control algorithms, and deployment scenarios. Iroko interfaces with the OpenAI gym toolkit, which allows for fast and fair evaluation of different RL and traditional CC algorithms under the same conditions. We present initial benchmarks on three deep RL algorithms compared to TCP New Vegas and DCTCP. Our results show that these algorithms are able to learn a CC policy which exceeds the performance of TCP New Vegas on a dumbbell and fat-tree topology. We make our emulator open-source and publicly available: https://github.com/dcgym/iroko

研究动机与目标

• 解决数据中心网络中强化学习缺乏标准化、可复现评估平台的问题。
• 实现深度 RL 算法与传统拥塞控制协议（如 TCP New Vegas 和 DCTCP）之间的公平比较。
• 探究基于 RL 的拥塞控制在具有真实拓扑和流量模式的数据中心环境中实现的可行性与性能表现。
• 提供一个灵活、可扩展的仿真器，支持多种网络拓扑、传输协议（TCP/UDP）和 RL 算法。
• 为未来基于 RL 的主动、数据驱动式数据中心拥塞控制研究奠定基础。

提出的方法

• 设计 Iroko 作为网络仿真器，可模拟数据中心拓扑（如哑铃形、胖树形），并支持可配置的网络参数和流量工作负载。
• 将 Iroko 与 OpenAI Gym 接口集成，以标准化 RL 环境交互，确保 RL 代理训练与评估的一致性。
• 每个环境步长使用 0.5 秒的时间步长，以充分观察队列状态和带宽利用率的随时间变化。
• 实现集中式 RL 代理，其可观测全局网络状态（如队列长度、链路利用率），并通过调整主机发送速率来优化奖励。
• 基于聚合网络效用（包括吞吐量、公平性和队列稳定性）定义奖励函数，以指导策略学习。
• 支持 TCP 和 UDP 传输协议，以隔离 RL 对传统流控制机制的影响。

实验结果

研究问题

• RQ1 深度强化学习算法是否能在数据中心网络中学习到优于传统基于 TCP 的方案的拥塞控制策略？
• RQ2 在不同网络条件下（如 TCP 与 UDP 传输）下，不同 RL 算法（DDPG、PPO、REINFORCE）的表现如何？
• RQ3 网络拓扑（哑铃形与胖树形）以及流量模式对基于 RL 的拥塞控制的收敛性和性能有何影响？
• RQ4 粗粒度的动作时间粒度（0.5 秒时间步长）如何影响 RL 代理在真实数据中心环境中的学习与性能表现？
• RQ5 基于 RL 的代理在公平性、吞吐量和队列稳定性方面，与手动调优的协议（如 DCTCP 和 TCP New Vegas）相比，能实现多大程度的提升？

主要发现

• DDPG 在哑铃形和胖树形拓扑中均实现了最高的累积奖励，并表现出稳定的性能提升，优于 TCP New Vegas 在奖励和队列管理方面的表现。
• PPO 在胖树形拓扑中表现出带宽利用率的持续提升，尽管波动性较高，表明存在进一步调优的潜力。
• REINFORCE 在 TCP 环境下表现尤为出色，这可能与 TCP 行为的随机性有关，表明其对环境噪声较为敏感。
• 三种 RL 算法（DDPG、PPO、REINFORCE）在哑铃形拓扑中均优于 TCP New Vegas 的奖励表现，并显著减少了拥塞链路上的队列积压。
• 在胖树形拓扑中，DCTCP 仍保持领先，凸显了在粗粒度、学习型控制下匹配高度优化的内核级协议的挑战。
• 结果表明，RL 可以学习到公平且高效的拥塞控制策略，但其性能高度依赖于环境设计、动作粒度和算法选择。