[논문 리뷰] Datacenter Ethernet and RDMA: Issues at Hyperscale

Torsten Hoefler, Duncan Roweth외 10명|arXiv (Cornell University)|2023. 02. 07.

Software-Defined Networks and 5G인용 수 4

한 줄 요약

이 논문은 RoCE가 광범위하게 사용되고 있음에도 불구하고 초규모 환경에서 손실 없는 네트워킹, 혼잡 제어, 확장성 측면에서 근본적인 결함을 지닌다고 주장한다. 이를 바탕으로 AI, HPC 및 스토리지 워크로드를 위한 오래된 RoCE 및 TCP/IP 모델을 대체할 수 있는 손실 가능 및 손실 없는 모드를 지원하고, 세밀한 재전송(예: 선택적 ACK) 및 통합된 혼잡 제어를 구현한 차세대 이더넷 기반 고성능 네트워킹 스택을 제안한다.

ABSTRACT

We observe that emerging artificial intelligence, high-performance computing, and storage workloads pose new challenges for large-scale datacenter networking. RDMA over Converged Ethernet (RoCE) was an attempt to adopt modern Remote Direct Memory Access (RDMA) features into existing Ethernet installations. Now, a decade later, we revisit RoCE's design points and conclude that several of its shortcomings must be addressed to fulfill the demands of hyperscale datacenters. We predict that both the datacenter and high-performance computing markets will converge and adopt modernized Ethernet-based high-performance networking solutions that will replace TCP and RoCE within a decade.

연구 동기 및 목표

• 현대 초규모 데이터센터에서 혼잡 제어, 손실 없는 운영 및 확장성 측면에서 RoCE의 핵심적 한계를 규명하는 것.
• 순서 유지 전달 및 go-back-n 재전송과 같은 레거시 RDMA 의미 체계가 효율적인 로드 밸런싱과 네트워크 활용도 향상에 어떻게 방해가 되는지 분석하는 것.
• RDMA를 위한 손실 가능 및 손실 없는 전송 모드를 모두 지원하도록 데이터센터 이더넷을 근본적으로 재설계하여 스마트한 버퍼 관리와 복잡성 감소를 가능하게 하는 것.
• 차세대 고성능 네트워킹에서 통합된, 사양 수준의 혼잡 제어 및 향상된 보안을 주장하는 것.
• 10년 내로 HPC와 데이터센터 네트워킹이 통합된 단일한 현대화된 이더넷 기반 아키텍처를 통해 TCP와 RoCE가 모두 대체될 것임을 예측하는 것.

제안 방법

• RoCEv2의 ECN 기반 혼잡 제어에 대한 의존성 분석: 이는 바이너리 혼잡 플래그를 사용하며 세밀한 피드백이 부족하여 incast 상황에서 수렴 속도가 느리고 성능이 열 劣하다.
• 대규모 데이터센터에서 PFC 기반 손실 없는 네트워킹의 비효율성 평가: 다양한 계층 간 복잡한 상호작용으로 인해 버퍼 오버런과 혼잡 트리가 발생하며, 버퍼 활용도가 열 劣하다.
• 손실 가능 및 손실 없는 전송 모드를 모두 지원하는 새로운 이더넷 기반 RDMA 스택 제안: 버퍼 관리를 엄격한 손실 없는 요구 조건에서 분리함.
• go-back-n 재전송을 선택적 확인 응답으로 대체하여 재전송 효율성을 높이고 대역폭 낭비를 줄이는 것의 필요성 제기.
• 네트워크 내 혼잡 신호 전달 및 스위치에서 소스로 직접 피드백 제공의 필요성 도입: 혼잡 대응 지연을 줄이고 수신기 반사 지연을 방지함.
• 미래 워크로드를 지원하기 위해 확장성 있는 스마트 NIC, 네트워크 내 계산, 보안 메모리 의미 체계를 고려한 프로토콜 설계 권고.

실험 결과

연구 질문

• RQ1 왜 RoCE가 손실 없는 이더넷과 ECN 기반 혼잡 제어에 의존함으로써 현대 초규모 데이터센터에서 성능과 확장성에 악영향을 미치는가?
• RQ2 현대 데이터센터 네트워크에서 더 높은 링크 지연이 incast 문제를 악화시키고 수신기 기반 혼잡 제어의 효과를 떨어뜨리는가?
• RQ3 AI 학습과 같은 고대역폭, 고메시지 레이트 워크로드에서 순서 유지 전달 및 go-back-n 재전송의 체계적 결함은 무엇인가?
• RQ4 손실 가능 및 손실 없는 모드를 모두 지원하는 통합된 현대화된 이더넷 스택이 기존 RoCE 및 TCP/IP 모델 대비 네트워크 효율성 향상과 복잡성 감소에 기여할 수 있는가?
• RQ5 차세대 RDMA 네트워킹은 스마트 NIC, 네트워크 내 텔레메트리 및 보안 메커니즘과 어떻게 더 잘 통합되어 미래의 AI 및 HPC 워크로드를 지원할 수 있는가?

주요 결과

• RoCE의 ECN 기반 혼잡 제어는 바이너리 혼잡 플래그를 사용하기 때문에 효과적이지 않으며, 많은 RTT가 필요해 incast 및 고지연 조건에서 성능이 열 劣하다.
• PFC를 사용한 손실 없는 운영은 네트워크 계층 간 복잡한 상호작용을 유발하여 혼잡 트리, 피해 흐름 및 비효율적 버퍼 활용도를 초래하며 대규모 구현에서 문제가 된다.
• 전체 경로 지연이 증가하면 대역폭-지연 곱이 커지며, 1 MiB 메시지조차도 송신기 탄력 조절을 통한 효과적인 incast 대응에 부적합해져 incast 문제를 악화시킨다.
• 순서 유지 전달 및 go-back-n 재전송과 같은 레거시 RDMA 의미 체계는 네트워크 로드 밸런싱을 심각하게 제한하고, 특히 장기간 지속되는 AI 학습 흐름에서 효율적인 다중 경로 전송을 방해한다.
• 이 논문은 향후 이더넷이 손실 가능 및 손실 없는 모드, 선택적 확인 응답, 통합된 혼잡 제어를 지원함으로써 초규모 데이터센터에서 RoCE와 TCP/IP를 모두 대체할 것이라고 예측한다.
• 현대화된 네트워킹은 스마트한 버퍼 관리, 복잡한 손실 없는 패브릭에 대한 의존도 감소를 가능하게 하며, AI, HPC 및 스토리지 워크로드를 위한 더 유연하고 안전하며 확장 가능한 고성능 네트워킹을 실현한다.