[논문 리뷰] Make TCP Great (again?!) in Cellular Networks: A Deep Reinforcement Learning Approach.

Soheil Abbasloo, Chen-Yu Yen외 1명|arXiv (Cornell University)|2019. 12. 26.

Network Traffic and Congestion Control참고 문헌 23인용 수 5

한 줄 요약

이 논문은 기존의 TCP 변종을 대체하지 않고도 셀룰러 네트워크에서 기존 TCP 변종의 성능을 향상시키는 딥 강화학습(DRL) 기반 플러그인인 DeepCC를 제안한다. 동적인 환경에서 최적의 혼잡 제어 결정을 학습함으로써 DeepCC는 Throughput을 크게 향상시키고 지연을 감소시켜 기존의 Cubic과 BBR와 같은 레거시 및 현대식 TCP를 추적 기반 및 현장 평가에서 Aurora, Sprout, Remy와 같은 최첨단 프로토콜을 능가하도록 한다.

ABSTRACT

Can we instead of designing just another new TCP, design a TCP extit{plug-in} which can boost the performance of the existing/future TCP designs in cellular networks? To answer this question, we introduce DeepCC plug-in. DeepCC leverages deep reinforcement learning (DRL), a modern decision-making tool, to steer TCP toward achieving applications' desired delay and high throughput in a highly dynamic network such as the cellular network. The fact that DeepCC does not try to reinvent/replace TCP but aims to boost the performance of it differentiates it from the most (if not all) of the existing reinforcement learning (RL) systems where RL systems are considered clean-slate alternative designs replacing the traditional ones. We used DeepCC plug-in to boost the performance of various old and new TCP schemes including TCP Cubic, Google's BBR, TCP Westwood, and TCP Illinois in cellular networks. Through both extensive trace-based evaluations and in-field tests, we show that not only DeepCC can significantly improve the performance of TCP, but also after accompanied by DeepCC, these schemes can outperform state-of-the-art TCP protocols including Aurora, Sprout, Verus, C2TCP, Copa, Indigo, Remy, PCC-Vivace, and LEDBAT in cellular networks.

연구 동기 및 목표

• 높은 동적 특성을 띠는 셀룰러 네트워크에서 기존 TCP 변종의 성능 한계를 해결하기 위해.
• 프로토콜을 처음부터 재설계하지 않고도 플러그인 기반 접근 방식이 TCP 성능 향상에 기여할 수 있는지 탐색하기 위해.
• 네트워크의 동적 특성에 적응하고 동시에 지연과 Throughput을 향상시키는 강화학습 시스템을 개발하기 위해.
• 레거시 및 현대적 설계를 포함한 다양한 TCP 변종에서 플러그인의 효과를 평가하기 위해.
• 실세계 및 추적 기반의 셀룰러 네트워크 환경에서 향상된 TCP 변종이 최첨단 프로토콜을 능가할 수 있음을 입증하기 위해.

제안 방법

• DeepCC는 RTT 및 손실률과 같은 실시간 네트워크 피드백 기반으로 최적의 혼잡 제어 조치를 학습하기 위해 딥 강화학습(DRL)을 사용한다.
• DRL 에이전트는 응용 프로그램 수준의 성능 목표를 반영하기 위해 Throughput과 지연을 균형 잡는 보상 함수를 최대화하도록 훈련된다.
• DeepCC는 핵심 논리나 알고리즘을 수정하지 않고도 기존 TCP 스택과 상호작용하는 투명한 플러그인으로 작동한다.
• 시스템은 네트워크 조건에 따라 혼잡 창 크기와 페이스팅 속도를 동적으로 조정하는 정책을 학습하기 위해 DRL 프레임워크(DQN 또는 PPO 등)를 사용한다.
• 훈련은 실제 셀룰러 네트워크 추적 데이터를 기반으로 한 추적 기반 시뮬레이션을 통해 수행되어, 에이전트가 다양한 네트워크 동적 특성에 일반화할 수 있도록 한다.
• 플러그인은 에뮬레이션 테스트베드와 실제 4G/5G 셀룰러 링크에서의 현장 측정을 통해 검증된다.

실험 결과

연구 질문

• RQ1 DRL 기반 플러그인은 기존 TCP 변종을 대체하지 않고도 셀룰러 네트워크에서 그 성능을 크게 향상시킬 수 있는가?
• RQ2 DeepCC는 Cubic, BBR, Westwood, Illinois와 같은 다양한 TCP 변종에서 Throughput을 어떻게 향상시키고 지연을 어떻게 감소시키는가?
• RQ3 실세계 셀룰러 환경에서 DeepCC 기반 TCP 변종은 Aurora, Sprout, Remy와 같은 최첨단 혼잡 제어 프로토콜을 어느 정도 능가할 수 있는가?
• RQ4 고속 이동성과 갑작스러운 손실이 발생하는 상황을 포함한 다양한 네트워크 동적 특성에서 DRL 정책의 강건성은 어떠한가?
• RQ5 재훈련 없이도 다양한 TCP 구현 및 네트워크 조건에 대해 플러그인 접근 방식이 일반화 가능한가?

주요 결과

• DeepCC는 셀룰러 네트워크에서 TCP Cubic, BBR, Westwood, Illinois의 Throughput을 크게 향상시키고 지연을 감소시킨다.
• DeepCC 통합 후, 이러한 TCP 변종은 추적 기반 및 현장 평가에서 Aurora, Sprout, Verus, C2TCP, Copa, Indigo, Remy, PCC-Vivace, LEDBAT와 같은 최첨단 프로토콜을 능가한다.
• 성능 향상은 고속 이동성과 변동하는 손실 패턴을 포함한 다양한 네트워크 조건에서 일관되게 유지된다.
• DRL 기반 플러그인은 기존 TCP 스택에 대한 변경 없이도 안정적이고 적응형 행동을 달성한다.
• 현장 테스트는 시뮬레이션에서 관찰된 성능 향상이 실제로 4G 및 5G 셀룰러 배포 환경로로 효과적으로 전이됨을 확인한다.
• 플러그인 접근 방식은 백워드 호환성을 유지하면서도 청소소프트 TCP 설계에 비해 성능이 동일하거나 뛰어나다.