[논문 리뷰] Characterizing Off-path SmartNIC for Accelerating Distributed Systems

Xingda Wei, Rongxin Chen외 3명|arXiv (Cornell University)|2022. 12. 15.

Advanced Data Storage Technologies인용 수 5

한 줄 요약

이 논문은 오프패스 SmartNIC의 첫 번째 종합적 특성 분석을 제시하며, 특히 Bluefield-2에서의 통신 경로 이질성에 초점을 맞춘다. 호스트, SoC, NIC 간의 다수의 RDMA 및 DMA 경로를 분석함으로써, SmartNIC 대역폭을 더 효과적으로 활용하고 네트워크 증폭을 줄임으로써 LineFS와 DrTM-KV에서 각각 최대 30% 및 25% 향상된 다중 경로 오프로딩 전략을 제안한다.

ABSTRACT

SmartNICs have recently emerged as an appealing device for accelerating distributed systems. However, there has not been a comprehensive characterization of SmartNICs, and existing designs typically only leverage a single communication path for workload offloading. This paper presents the first holistic study of a representative off-path SmartNIC, specifically the Bluefield-2, from a communication-path perspective. Our experimental study systematically explores the key performance characteristics of communication among the client, on-board SoC, and host, and offers insightful findings and advice for designers. Moreover, we propose the concurrent use of multiple communication paths of a SmartNIC and present a pioneering guideline to expose new optimization opportunities for various distributed systems. To demonstrate the effectiveness of our approach, we conducted case studies on a SmartNIC-based distributed file system (LineFS) and an RDMA-based disaggregated key-value store (DrTM-KV). Our experimental results show improvements of up to 30% and 25% for LineFS and DrTM-KV, respectively.

연구 동기 및 목표

• 오프패스 SmartNIC, 특히 Bluefield-2에서 다수의 통신 경로 간 성능 차이를 체계적으로 특성화하는 것.
• 호스트 CPU와 SmartNIC의 SoC 간 아키텍처 이질성으로 인한 성능 저하 요인과 이상 현상을 규명하는 것.
• SmartNIC의 전체 대역폭과 계산 능력을 활용하지 못하는 단일 경로 오프로딩 전략의 한계를 드러내는 것.
• 분산 시스템에서 자원 활용도를 높이고 네트워크 증폭을 줄이기 위한 다중 경로 최적화 가이드라인을 수립하는 것.
• 스마트NIC 기반 파일 시스템(LineFS)과 RDMA 기반 키-값 스토어(DoTM-KV)에 대한 사례 연구를 통해 제안된 접근 방식의 효과성을 검증하는 것.

제안 방법

• NIC-to-SoC, SoC-to-host, host-to-SoC, NIC-to-host 간 주요 통신 경로 전반에 걸쳐 체계적인 성능 측정을 수행함 (RDMA 및 DMA 사용).
• PCIe MTU, 메모리 액세스 경로, DMA 엔진 기능 등 하드웨어 수준의 차이가 경로 성능에 미치는 영향을 분석함.
• NIC에서 SoC로의 RDMA가 호스트로 향하는 경로보다 최대 1.48배 빠른 것으로 밝혀졌으며, 이는 더 낮은 지연과 더 적은 PCIe 홉 수 때문임.
• SoC와 호스트 간 PCIe MTU 및 메모리 액세스 패턴이 일치하지 않을 경우 SoC 관련 경로에서 최대 48%의 대역폭 저하가 발생함을 발견함.
• 다양한 워크로드에 최적의 경로를 동적으로 선택하는 다중 경로 오프로딩 전략을 제안하여 자원 경합을 방지하고 최대 대역폭을 확보함.
• 동일한 스마트NIC 하드웨어를 사용하여 두 가지 실제 시스템인 LineFS(분산 파일 시스템)와 DrTM-KV(분리형 키-값 스토어)에 구현 및 평가함.

실험 결과

연구 질문

• RQ1 다양한 워크로드와 설정에서 오프패스 스마트NIC의 다양한 통신 경로(NIC–SoC, SoC–host 등)의 성능 특성은 어떻게 비교되는가?
• RQ2 PCIe MTU, 메모리 액세스 패턴, DMA 엔진 기능 등의 아키텍처적 요인이 SoC를 포함하는 경로에서 성능 이상 현상을 유발하는 이유는 무엇인가?
• RQ3 단일 경로 오프로딩이 왜 스마트NIC의 대역폭과 계산 능력을 완전히 활용하지 못하는지, 그 배경에 있는 성능 저하 요인은 무엇인가?
• RQ4 다중 통신 경로 간 상호작용(예: PCIe 스위치에서의 경합)이 전체 시스템 성능에 미치는 영향은 어떠한가?
• RQ5 실제 분산 시스템에서 다중 경로의 동시 사용이 엔드 투 엔드 성능 향상에 상당한 기여를 할 수 있는가?

주요 결과

• 스마트NIC의 RNIC에서 SoC로의 RDMA 경로는 더 적은 PCIe 홉 수와 낮은 지연으로 인해 호스트로 향하는 경로보다 최대 1.48배 빠름.
• SoC의 PCIe MTU 또는 메모리 액세스 경로가 호스트와 다를 경우 SoC 관련 경로에서 패킷 처리 효율이 떨어져 최대 48%의 대역폭 저하 발생.
• SoC-to-host 및 host-to-SoC RDMA 경로는 내부 PCIe 스위치를 두 번 통과하므로 가용 PCIe 대역폭의 절반만 활용함. 직접 경로 대비 최대 6배 더 많은 패킷 수요.
• 패킷 수가 더 적은 편이지만 SoC의 DMA 엔진이 RNIC에 비해 약하기 때문에 SoC와 호스트 간 DMA는 항상 RDMA보다 빠른 것은 아님.
• LineFS는 복수의 경로를 활용하여 병목 현상을 피하고 200 Gbps 스마트NIC 대역폭을 더 효과적으로 활용함으로써 최대 30% 성능 향상 달성.
• DrTM-KV는 키-값 연산을 복수의 경로로 오프로딩하여 네트워크 증폭을 줄이고 대역폭을 향상시킴으로써 최대 25% 향상 달성.