[논문 리뷰] ExpressPass: End-to-End Credit-based Congestion Control for Datacenters

Inho Cho, Dongsu Han외 1명|arXiv (Cornell University)|2016. 10. 15.

Cloud Computing and Resource Management참고 문헌 25인용 수 5

한 줄 요약

ExpressPass는 데이터센터에서 데이터 손실이 없고 DCTCP보다 최대 80배 빠른 수렴 속도를 달성하기 위해 가용 대역폭을 사전에 신호로 전달하는 비용 제한된 크레딧 패킷을 사용하는 엔드 투 엔드 크레딧 기반 혼잡 제어 프로토콜을 제안한다. 스위치 수정이나 중앙 집중식 제어 없이도 빠르고 공정하며 손실이 없는 흐름 점진적 증가를 실현한다.

ABSTRACT

As link speeds increase in datacenter networks, existing congestion control algorithms become less effective in providing fast convergence. TCP-based algorithms that probe for bandwidth take a long time to reach the fair-share and lead to long flow completion times. An ideal congestion control algorithms for datacenter must provide 1) zero data loss, 2) fast convergence, and 3) low buffer occupancy. However, these requirements present conflicting goals. For fast convergence,flows must ramp up quickly, but this risks packet losses and large queues. Thus, even the state-of-the-art algorithms, such as TIMELY and DCQCN, rely on link layer flow control (e.g.,Priority-based Flow Control) to achieve zero loss. This paper presents a new approach, called ExpressPass, an end-to-end credit-based congestion control algorithm for datacenters. ExpressPass is inspired by credit-based flow control, but extends it to work end-to-end. The switches control the amount of credit packets by rate limiting and ensure data packets flow in the reverse direction without any loss. ExpressPass leverages this to ramp up aggressively. ExpressPass converges up to 80 times faster than DCTCP at 10Gbps link, and the gap increases as link speeds become faster. Our simulation with realistic workload shows that ExpressPass significantly reduces the flow completion time especially for small and medium size flows compared to DCTCP, HULL, and DX.

연구 동기 및 목표

• 연결 속도가 증가함에 따라 (10Gbps에서 100Gbps로) 빠른 수렴 속도와 높은 버퍼 점유율을 겪는 고속 데이터센터 네트워크의 과제를 해결한다.
• RDMA 및 짧은 흐름 워크로드에 필수적인 데이터 손실이 없는 빠른 흐름 점진적 증가를 가능하게 하면서도, 데이터 손실을 최소화한다.
• 네트워크 전역의 조율 또는 하드웨어 변경 없이도 엔드 투 엔드 원칙을 유지하면서도 확장 가능한 엔드 투 엔드 혼잡 제어 메커니즘을 설계한다.
• PFC에 의존하거나 반응형 피드백에 의존하는 기존 프로토콜(DCTCP, TIMELY, DCQCN)의 한계를 극복하며, 장기적인 수렴 시간이나 공정성 문제를 해결한다.
• 크레딧 피드백 및 경로 대칭 메커니즘을 통해 다중 버블넥 및 다중 경로 네트워크 아키텍처에서 공정성과 낮은 큐잉 지연을 확보한다.

제안 방법

• 수신자가 송신자에게 흐름 단위로 크레딧 패킷을 전송하여 데이터 전송 이전에 가용 대역폭을 사전 신호로 제공한다.
• 스위치에서 크레딧 패킷의 전송 속도를 제한하여 데이터 흐름이 링크 용량을 초과하지 않도록 하며, 큐가 축적되는 것을 방지한다.
• 해싱을 통한 대칭 라우팅을 시행하여 크레딧 패킷과 데이터 패킷이 동일한 경로를 따라가도록 하여 비대칭 지연 및 큐잉을 방지한다.
• 랜덤 지터를 사용한 크레딧 피드백 제어를 구현하여 속도 적응을 안정화하고 동적 환경에서의 진동을 방지한다.
• 네트워크 미적분을 적용하여 최대 큐잉 지연과 버퍼 점유율을 분석적으로 경계하여 낮은 지연과 최소한의 버퍼 사용을 보장한다.
• 비-크레딧 트래픽(예: ARP, 제어 패킷)을 대비하여 반응형 후속 조치 메커니즘을 도입하여 큐에 흠뻑 잠기고, 응답으로 크레딧 패킷을 발행한다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 크레딧 기반 혼잡 제어가 고속 데이터센터 네트워크에서 TCP 기반 및 ECN 기반 프로토콜보다 훨씬 더 빠른 수렴 속도를 달성하면서도 데이터 손실이 없는가?
• RQ2 스위치 수정이나 중앙 집중식 제어 없이도 허브 투 허브 메커니즘을 초월해 엔드 투 엔드로 작동하는 크레딧 기반 흐름 제어를 어떻게 확장할 수 있는가?
• RQ3 엔드 투 엔드 크레딧 신호를 사용할 때 다중 버블넥 및 다중 경로 데이터센터 네트워크에서 공정성과 낮은 큐잉 지연을 확보하기 위해 어떤 메커니즘이 필요한가?
• RQ4 크레딧 속도 형상 조절 및 피드백 제어를 통해 버퍼 점유율을 얼마나 줄이고, 소형 및 중형 흐름의 흐름 완료 시간을 얼마나 향상시킬 수 있는가?
• RQ5 DCTCP 및 TIMELY와 같은 최신 기술 대비 연결 속도 증가(예: 10Gbps 대비 100Gbps)에 따라 크레딧 기반 혼잡 제어의 성능 스케일링은 어떻게 이루어지는가?

주요 결과

• ExpressPass는 10Gbps 및 100Gbps 모두에서 몇 개의 RTT 내에 수렴하며, DCTCP는 각각 수백, 수천 개의 RTT가 소요되어 최대 80배 빠른 수렴 속도를 달성한다.
• 모든 시뮬레이션에서 ExpressPass는 버스트 및 인크래스트 트래픽 패턴 조건에서도 데이터 손실이 없이 작동한다. 반면 ECN 기반 프로토콜은 버퍼 오버플로우에 취약하다.
• ExpressPass의 스위치 버퍼 사용량은 DCTCP 대비 최대 8배 낮으며, 데이터 버퍼 점유율은 항상 근처 0에 가까이 유지되어 효율적인 버퍼 활용을 보여준다.
• 실제 워크로드 시뮬레이션에서 ExpressPass는 DCTCP, HULL 및 DX 대비 소형 및 중형 흐름의 흐름 완료 시간(FCT)을 크게 단축하며, 연결 속도가 높아질수록 성능 격차가 더욱 벌어진다.
• 크레딧 피드백 제어 및 경로 대칭을 통해 다중 버블넥 환경에서도 높은 링크 활용도와 공정성을 유지하며, 단순한 크레딧 속도 전송 방식이 가져오는 공정성 및 효율성의 상충 문제를 피한다.
• 크레딧 피드백 제어에 랜덤 지터를 사용함으로써 속도 적응이 안정화되고 진동이 방지되어 동적 조건에서도 일관된 성능을 기여한다.