[논문 리뷰] Revisiting Network Support for RDMA

Radhika Mittal, Alexander Shpiner외 5명|arXiv (Cornell University)|2018. 06. 21.

Software-Defined Networks and 5G참고 문헌 14인용 수 5

한 줄 요약

이 논문은 손실 없는 네트워크를 필요로 하지 않도록 PFC(우선순위 흐름 제어)를 제거하기 위해 손실 복구 기능을 향상시키고 종단 간 흐름 제어를 추가한 재설계된 RDMA over Ethernet NIC인 IRN(개선된 RoCE NIC)을 제안한다. IRN은 표준 RoCE에 비해 6–83% 높은 성능을 달성하면서도 NIC 하드웨어 자원의 추가로 3–10%만을 사용하며, 고성능 RDMA를 위한 손실 없는 네트워크가 본질적으로 필요하지 않음을 입증한다.

ABSTRACT

The advent of RoCE (RDMA over Converged Ethernet) has led to a significant increase in the use of RDMA in datacenter networks. To achieve good performance, RoCE requires a lossless network which is in turn achieved by enabling Priority Flow Control (PFC) within the network. However, PFC brings with it a host of problems such as head-of-the-line blocking, congestion spreading, and occasional deadlocks. Rather than seek to fix these issues, we instead ask: is PFC fundamentally required to support RDMA over Ethernet? We show that the need for PFC is an artifact of current RoCE NIC designs rather than a fundamental requirement. We propose an improved RoCE NIC (IRN) design that makes a few simple changes to the RoCE NIC for better handling of packet losses. We show that IRN (without PFC) outperforms RoCE (with PFC) by 6-83% for typical network scenarios. Thus not only does IRN eliminate the need for PFC, it improves performance in the process! We further show that the changes that IRN introduces can be implemented with modest overheads of about 3-10% to NIC resources. Based on our results, we argue that research and industry should rethink the current trajectory of network support for RDMA.

연구 동기 및 목표

• Ethernet를 통해 고성능 RDMA를 구현하기 위해 PFC를 통한 손실 없는 네트워크가 필수적이라는 일반적인 가정을 도전하기 위해.
• PFC로 인해 발생하는 성능 및 안정성 문제(예: 헤드오브라인 블로킹, 혼잡도 확산)를 해결하기 위해.
• 기존 RoCE NIC에 대한 최소한의 점진적 개선을 설계하여, 네트워크 수준의 손실 없음 조건 없이도 효율적인 손실 복구 및 종단 간 흐름 제어를 가능하게 하기 위해.
• iWARP의 아키텍처 철학(손실을 NIC에서 처리함)이 RoCE에 성공적으로 적용될 수 있으며, 원래 iWARP 설계보다 더 높은 성능과 낮은 복잡도를 달성할 수 있음을 입증하기 위해.
• IRN의 성능, 프로토콜 확장, 하드웨어 자원 오버헤드를 철저히 평가하여 실제 시나리오에서 PFC를 지원하는 RoCE보다 뛰어난 성능을 보임을 보여주기 위해.

제안 방법

• 손실 복구를 더 효율적으로 하기 위해, 순서가 어긋난 패킷과 NACK를 오류가 아닌 일반적인 흐름 제어 신호로 간주하도록 RoCE NIC를 재설계한다.
• 시퀀스 넘버와 크레딧 기반 메커니즘을 사용해 전송 중인 패킷을 추적함으로써 종단 간 흐름 제어를 도입하고, 확인되지 않은 패킷의 수를 제한한다.
• RDMA 작업의 완료 의미 체계(예: 즉시성 포함 씽크, 전송, 원자 연산)를 수정하여, 패킷 손실 상황에서도 정확한 순서와 완료가 보장되도록 한다.
• 수신 대기 큐를 공유하는 방식(SRQ)을 지원하기 위해, 들어오는 패킷의 순서 번호에 기반해 동적으로 수신 WQE를 할당함으로써 메모리 효율성과 정확성을 향상시킨다.
• 패킷 순서를 추적하고 이전 패킷이 모두 도착했을 때만 작업을 완료하는 상태 기계를 NIC에 구현하며, 메시지 완료를 감지하기 위해 비트맵을 사용한다.
• 모든 필수 패킷이 수신되고 처리된 후에만 완료 이벤트를 생성함으로써 기존 RDMA 의미 체계와의 후행 호환성을 보장한다.

실험 결과

연구 질문

• RQ1 PFC를 통한 손실 없는 네트워크 인프라 없이도 Ethernet를 통한 RDMA가 고성능을 달성할 수 있는가?
• RQ2 현재 RoCE NIC 설계에 최소한의 변경을 가해 PFC 의존성을 제거하면서도 성능을 유지하거나 향상시킬 수 있는가?
• RQ3 IRN 기반 RoCE 시스템의 성능은 일반적인 데이터센터 워크로드에서 PFC를 지원하는 표준 RoCE와 비교해 어떻게 되는가?
• RQ4 현대 NIC에 IRN의 개선 사항을 구현할 경우 하드웨어 자원 오버헤드는 어느 정도인가?
• RQ5 iWARP의 손실 복구를 NIC에서 처리하는 철학이 RoCE에 성공적으로 적용될 수 있으며, 원래 iWARP 설계보다 더 높은 성능과 낮은 복잡도를 달성할 수 있는가?

주요 결과

• IRN은 다양한 일반적인 네트워크 시나리오에서 PFC를 사용하는 표준 RoCE 대비 6–83% 높은 성능을 보이며, PFC가 고성능을 위해 필수적이라는 것을 입증한다.
• IRN은 설계상 PFC로 인한 문제(헤드오브라인 블로킹, 혼잡도 확산, 데드락 등)를 제거하여 네트워크 안정성을 향상시킨다.
• IRN을 구현하기 위한 하드웨어 자원 오버헤드는 현재 NIC에서 3–10%에 불과하며, 메시지 전송률이나 대역폭에 영향을 주지 않는다.
• 모든 RDMA 작업(즉시성 포함 씽크, 전송, 원자 연산 포함)에 대해 완료 의미 체계를 정확히 유지하며, 모든 필수 패킷이 도착한 후에만 완료 이벤트를 생성함을 보장한다.
• 새로운 오류 조건이나 복잡한 상태 관리 없이도 공유 수신 큐(SRQ)와 종단 간 크레딧 메커니즘을 지원한다.
• 원래 iWARP 설계가 NIC에 전체 TCP/IP 스택이 필요로 했던 것에 비해, IRN의 접근 방식은 더 단순한 RoCE 모델에 최소한의 집중적 개선을 가하는 방식이므로 더 효율적이다.