[논문 리뷰] Iroko: A Framework to Prototype Reinforcement Learning for Data Center Traffic Control

Fabian Ruffy, Michael Przystupa외 1명|arXiv (Cornell University)|2018. 12. 24.

Software-Defined Networks and 5G참고 문헌 49인용 수 20

한 줄 요약

Iroko는 데이터 센터 트래픽 제어를 위한 오픈소스 강화학습(RL) 에뮬레이터로, OpenAI Gym과 통합되어 RL 및 전통적인 혼잡도 제어(CC) 알고리즘의 공정하고 재현 가능한 벤치마킹을 가능하게 한다. 이는 DDPG와 PPO가 둥근형과 피트트리 토폴로지에서 TCP New Vegas보다 보상과 큐 관리 측면에서 뛰어난 성능을 보이며, 강화학습이 능동적이고 고성능의 데이터 센터 네트워킹을 가능하게 할 잠재력을 보여준다.

ABSTRACT

Recent networking research has identified that data-driven congestion control (CC) can be more efficient than traditional CC in TCP. Deep reinforcement learning (RL), in particular, has the potential to learn optimal network policies. However, RL suffers from instability and over-fitting, deficiencies which so far render it unacceptable for use in datacenter networks. In this paper, we analyze the requirements for RL to succeed in the datacenter context. We present a new emulator, Iroko, which we developed to support different network topologies, congestion control algorithms, and deployment scenarios. Iroko interfaces with the OpenAI gym toolkit, which allows for fast and fair evaluation of different RL and traditional CC algorithms under the same conditions. We present initial benchmarks on three deep RL algorithms compared to TCP New Vegas and DCTCP. Our results show that these algorithms are able to learn a CC policy which exceeds the performance of TCP New Vegas on a dumbbell and fat-tree topology. We make our emulator open-source and publicly available: https://github.com/dcgym/iroko

연구 동기 및 목표

• 데이터 센터 네트워킹에서 강화학습에 대한 표준화되고 재현 가능한 평가 플랫폼의 부족을 해결한다.
• 딥 RL 알고리즘과 TCP New Vegas, DCTCP와 같은 전통적인 혼잡도 제어 프로토콜 간의 공정한 비교를 가능하게 한다.
• 실제 토폴로지와 트래픽 패턴을 가진 데이터 센터 환경에서 RL 기반 혼잡도 제어의 실현 가능성과 성능을 조사한다.
• 다양한 네트워크 토폴로지, 전송 프로토콜(TCP/UDP), RL 알고리즘을 지원하는 유연하고 확장 가능한 에뮬레이터를 제공한다.
• RL을 활용한 능동적이고 데이터 기반의 혼잡도 제어에 대한 향후 연구의 기반을 마련한다.

제안 방법

• Iroko를 데이터 센터 토폴로지(예: 둥근형, 피트트리)를 구성 가능한 네트워크 파라미터와 트래픽 워크로드를 가진 네트워크 에뮬레이터로 설계한다.
• Iroko를 OpenAI Gym 인터페이스와 통합하여 RL 환경 상호작용을 표준화함으로써 RL 에이전트의 일관된 훈련 및 평가를 가능하게 한다.
• 각 환경 단계에 0.5초의 타임스텝을 사용하여 큐 상태 및 대역폭 이용률의 시간에 따른 충분한 관찰을 가능하게 한다.
• 중앙집중식 RL 에이전트를 구현하여 전역 네트워크 상태(예: 큐 길이, 링크 이용률)를 관측하고, 호스트의 전송 속도를 조정하여 보상을 최적화한다.
• 통합 네트워크 유용성, 즉 처리량, 공정성, 큐 안정성 기반의 보상 함수를 정의하여 정책 학습을 유도한다.
• 전통적인 흐름 제어 메커니즘의 영향을 분리하기 위해 TCP 및 UDP 전송 프로토콜을 모두 지원한다.

실험 결과

연구 질문

• RQ1 딥 강화학습 알고리즘이 데이터 센터 네트워크에서 기존의 TCP 기반 기법보다 효과적인 혼잡도 제어 정책을 학습할 수 있는가?
• RQ2 다양한 네트워크 조건(예: TCP 대비 UDP 전송)에서 서로 다른 RL 알고리즘(DDPG, PPO, REINFORCE)의 성능은 어떻게 되는가?
• RQ3 네트워크 토폴로지(둥근형 대비 피트트리)와 트래픽 패턴이 RL 기반 혼잡도 제어의 수렴성과 성능에 어떤 영향을 미치는가?
• RQ4 粗미세한 액션 그레인율(0.5초 타임스텝)이 실시간 데이터 센터 환경에서 RL 에이전트의 학습 및 성능에 어떤 영향을 미치는가?
• RQ5 RL 기반 에이전트가 수동으로 튜닝된 프로토콜인 DCTCP와 TCP New Vegas보다 공정성, 처리량, 큐 안정성 측면에서 얼마나 뛰어난 성능을 낼 수 있는가?

주요 결과

• DDPG는 둥근형 및 피트트리 토폴로지에서 가장 높은 누적 보상을 기록했으며, 보상과 큐 관리 측면에서 TCP New Vegas를 능가하는 안정적인 향상을 보였다.
• PPO는 피트트리 토폴로지에서 대역폭 이용률 향상에 지속적인 개선을 보였지만, 변동성이 더 높아 향후 튜닝 잠재력이 있음을 시사했다.
• REINFORCE는 TCP 환경에서 특별히 잘 수행되었는데, 이는 TCP의 확률적 행동 특성 덕분이었으며, 환경 노이즈에 민감함을 보였다.
• DDPG, PPO, REINFORCE의 세 알고리즘 모두 둥근형 토폴로지에서 혼잡한 링크의 큐 누적을 최소화하면서 TCP New Vegas를 초월하는 보상을 기록했다.
• DCTCP는 피트트리 토폴로지에서 여전히 승리했으며, 이는 매우 최적화된 커널 수준의 프로토콜을 굵은 그레인의 학습 기반 제어로 따라잡는 것이 어렵다는 점을 강조한다.
• 결과적으로, RL은 데이터 센터에서 공정하고 효율적인 혼잡도 제어 정책을 학습할 수 있음을 시사하지만, 성능는 환경 설계, 액션 그레인율, 알고리즘 선택에 매우 의존한다.