[논문 리뷰] Internet Congestion Control via Deep Reinforcement Learning

Nathan Jay, Noga H. Rotman외 3명|arXiv (Cornell University)|2018. 10. 08.

Software-Defined Networks and 5G참고 문헌 37인용 수 21

한 줄 요약

이 논문은 깊이 있는 강화학습(Reinforcement Learning, RL) 기반의 혼잡도 제어 프로토콜인 Aurora를 제안한다. 이 프로토콜은 혼잡도로 인한 패킷 손실과 비혼잡도로 인한 손실을 구분하는 능력을 학습함으로써 기존 최고 수준의 방법들을 능가하며, 더 높은 링크 활용도를 달성한다. 이는 로컬 피드백 기반으로 전송 속도를 조정하는 딥 네ural 네트워크 정책을 강화학습을 통해 훈련시켜 동적인 네트워크 환경에서도 뛰어난 성능을 보이며, 실세계 적용에 있어 공정성, 안전성, 일반화 능력의 도전 과제를 부각시킨다.

ABSTRACT

We present and investigate a novel and timely application domain for deep reinforcement learning (RL): Internet congestion control. Congestion control is the core networking task of modulating traffic sources' data-transmission rates to efficiently utilize network capacity, and is the subject of extensive attention in light of the advent of Internet services such as live video, virtual reality, Internet-of-Things, and more. We show that casting congestion control as RL enables training deep network policies that capture intricate patterns in data traffic and network conditions, and leverage this to outperform the state-of-the-art. We also highlight significant challenges facing real-world adoption of RL-based congestion control, including fairness, safety, and generalization, which are not trivial to address within conventional RL formalism. To facilitate further research and reproducibility of our results, we present a test suite for RL-guided congestion control based on the OpenAI Gym interface.

연구 동기 및 목표

• 기존의 전통적인 프로토콜(예: TCP)의 한계를 해결하고, 인터넷 혼잡도 제어에 깊이 있는 강화학습을 새로운 접근법으로 적용하고자 한다.
• 혼잡도 제어 프로토콜이 로컬 피드백에서 트래픽 및 네트워크 조건의 복잡한 패턴을 학습함으로써 효율성과 사용자 경험을 향상시키고자 한다.
• 깊이 있는 강화학습이 실세계와 유사한 동적인 네트워크 환경에서 기존 최고 수준의 혼잡도 제어 메커니즘을 능가할 수 있는지 평가하고자 한다.
• 실세계 적용에 있어 주요 장애 요소인 공정성, 안전성, 일반화 능력 등의 과제를 식별하고 해결하고자 한다.
• OpenAI Gym 호환 테스트 세트를 통해 재현 가능한 벤치마킹 프레임워크를 제공하여 향후 강화학습 기반 혼잡도 제어 연구를 가속화하고자 한다.

제안 방법

• 저자는 혼잡도 제어 문제를 순차적 결정 문제로 재정의하며, 송신 측의 전송 속도는 로컬 피드백 이력(예: RTT, 손실 패턴 등)에 기반한 딥 네럴 네트워크 정책에 의해 결정된다.
• 장기적인 네트워크 유틸리티를 최대화하기 위해, 보상 함수가 통과량, 공정성, 지연 시간을 반영하도록 설계된 딥 Q네트워크(DQN) 또는 유사한 깊이 있는 강화학습 알고리즘을 사용하여 정책을 훈련시킨다.
• 손실 패턴이 전송 속도 변화와 어떻게 연관되는지를 관찰함으로써, 정책은 무작위(비혼잡도) 손실과 혼잡도로 인한 손실을 식별하는 데 학습한다.
• 변동하는 대역폭, 버퍼 크기, 손실률를 가진 시뮬레이션 환경에서 시스템을 훈련시키며, 높은 통과량과 낮은 손실을 장려하는 보상 함수를 사용한다.
• 프레임워크는 OpenAI Gym 인터페이스를 사용하여 재현 가능한 평가 및 기존 강화학습 베이스라인과의 통합을 가능하게 한다.
• 딥 강화학습에서 일반적으로 사용되는 경험 재생 및 타겟 네트워크 기법을 통해 다양한 네트워크 조건에 대한 일반화를 지원한다.

실험 결과

연구 질문

• RQ1 깊이 있는 강화학습이 혼잡도로 인한 손실과 비혼잡도로 인한 손실을 구분할 수 있는가? 이는 기존 TCP 버전보다 더 나은 속도 적응을 이끌어낼 수 있는가?
• RQ2 변동하는 네트워크 조건 하에서, RL 기반 혼잡도 제어 프로토콜이 TCP-CUBIC과 같은 최고 수준의 프로토콜보다 링크 활용도와 통과량 측면에서 얼마나 뛰어나게 성능을 발휘하는가?
• RQ3 실세계 적용을 방해하는 주요 과제들—공정성, 안전성, 일반화 능력—은 무엇이며, 이를 어떻게 해결할 수 있는가?
• RQ4 적응성과 내구성 측면에서, RL 기반 프로토콜은 온라인 학습(PCC 등)과 오프라인 최적화(Remy 등)와 비교해 어떻게 성능을 발휘하는가?
• RQ5 재훈련 없이도 다양한 네트워크 토폴로지와 트래픽 패턴에 일반화할 수 있는가?

주요 결과

• Aurora는 30 Mbps 링크와 1%의 무작위 손실 조건에서 TCP-CUBIC보다 유의미하게 높은 링크 활용도를 달성하며, 비혼잡도 손실에 과민하게 반응하지 않으면서도 높은 통과량을 유지한다.
• Aurora는 비혼잡도로 인한 손실 이후 전송 속도를 증가시키는 것을 학습했으며, 실제 혼잡도로 인한 손실 시에는 속도 증가를 피하는 데 성공한다.
• 변동하는 대역폭과 버퍼 크기 등의 네트워크 조건에 적응함으로써 동적인 환경에서 뛰어난 성능을 보이며, 특정 시나리오에서 TCP-CUBIC과 PCC를 모두 능가한다.
• 연구는 실세계 적용에 있어 공정성, 안전성, 일반화 능력이 주요 과제임을 밝혀내며, 이러한 문제들은 표준 강화학습 공식화로는 쉽게 해결되지 않는다는 점을 지적한다.
• 저자는 재현 가능한 테스트 세트를 오픈소스로 공개하여 표준화된 벤치마킹과 향후 깊이 있는 강화학습을 통한 혼잡도 제어 연구의 가속화를 도모한다.
• 오프라인 최적화(Remy 등)와 온라인 학습(PCC 등)과 비교해 Aurora는 경험을 통해 학습하고 현재 네트워크의 일반적인 특성에 적응함으로써, 비i.i.d. 조건에서 더 높은 성능을 달성한다.