[논문 리뷰] The End of Slow Networks: It's Time for a Redesign

Carsten Binnig, Andrew Crotty외 3명|arXiv (Cornell University)|2015. 04. 04.

Cloud Computing and Resource Management참고 문헌 54인용 수 10

한 줄 요약

이 논문은 현대의 RDMA 기반 네트워크(예: InfiniBand FDR/EDR)가 분산 메모리 기반 DBMS의 성능 저하 요인으로 작용하지 않음을 주장하며, 이에 따라 분산 메모리 기반 DBMS의 근본적인 재설계가 필요하다고 주장한다. 이는 낮은 지연 시간과 높은 대역폭을 제공하는 RDMA를 천연적으로 활용하는 새로운 네트워크 기반 메모리(NAM) 아키텍처를 제안한다. 이 아키텍처는 빠른 네트워크 환경을 고려해 분산 쿼리 처리 및 트랜잭션 프로토콜을 재고함으로써, 집계 처리 속도를 최대 3.5배 빠르게 하고 조인 처리 속도를 최대 2.5배 빠르게 하는 데 성공한다.

ABSTRACT

Next generation high-performance RDMA-capable networks will require a fundamental rethinking of the design and architecture of modern distributed DBMSs. These systems are commonly designed and optimized under the assumption that the network is the bottleneck: the network is slow and "thin", and thus needs to be avoided as much as possible. Yet this assumption no longer holds true. With InfiniBand FDR 4x, the bandwidth available to transfer data across network is in the same ballpark as the bandwidth of one memory channel, and it increases even further with the most recent EDR standard. Moreover, with the increasing advances of RDMA, the latency improves similarly fast. In this paper, we first argue that the "old" distributed database design is not capable of taking full advantage of the network. Second, we propose architectural redesigns for OLTP, OLAP and advanced analytical frameworks to take better advantage of the improved bandwidth, latency and RDMA capabilities. Finally, for each of the workload categories, we show that remarkable performance improvements can be achieved.

연구 동기 및 목표

• 분산 DBMS에서 네트워크가 주요 성능 저하 요인이라는 오랜 가정을 도전하며, 이는 상호 노드 간 통신을 최소화하는 설계를 이끌어왔다.
• 현대의 RDMA 네트워크(예: InfiniBand FDR/EDR)가 메모리 대역폭과 비교하거나 이를 초월하는 대역폭을 제공함으로써, 네트워크 최적화 설계가 이제 필수적임을 입증한다.
• 네트워크를 공유 메모리 액세스를 위한 1급 자원으로 간주하는 새로운 아키텍처 패러다임인 네트워크 기반 메모리(NAM)를 제안하며, 효율적인 확장성과 저지연 데이터 공유를 가능하게 한다.
• 기존 최적화 기법(예: 통신 방지, 복잡한 사전 처리)이 더 이상 최적화되지 않으며, RDMA를 고려한 알고리즘으로 대체되어야 한다는 점을 보여준다.
• OLTP 및 OLAP 워크로드에서 NAM 아키텍처를 평가하여, 데이터 분포 불균형과 높은 기수성 조건에서도 뛰어난 성능과 강건성을 확보할 수 있음을 입증한다.

제안 방법

• 노드 간 원격 메모리에 직접적으로 낮은 지연 시간으로 RDMA 액세스를 가능하게 하는 새로운 NAM(네트워크 기반 메모리) 아키텍처를 설계하여, 네트워크를 공유 메모리 ���으로 간주한다.
• 고대역폭 및 저지연 네트워크 특성을 활용하는 RDMA 인식 쿼리 연산자(예: RDMA 집계, RRJ 조인)를 구현하여, 데이터 재배치나 복제를 방지한다.
• RDMA 버브를 사용해 직접 메모리 액세스 및 원자 연산을 수행함으로써, 중앙 집중식 조정자나 고비용 동기화 없이도 효율적인 조율을 가능하게 한다.
• NAM 모델에서 데이터 분포 불균형을 효율적으로 처리하기 위해 세분화된 병렬 처리 및 워크 스틸링 기법을 최적화한다.
• 실제 하드웨어(이중 소켓 Xeon E5v2 및 FDR 4× InfiniBand)를 사용해 OLTP 및 OLAP 워크로드에서 프로토타입을 벤치마킹하고, 종단 간 성능을 측정한다.
• 다양한 데이터 분포 불균형과 기수성 조건에서 기존의 전통적 분산 DBMS 패턴(예: 계층적 집계, 블록-중첩 루프 조인)과 NAM 기반 설계를 비교한다.

실험 결과

연구 질문

• RQ1 현대의 RDMA 네트워크(예: InfiniBand FDR/EDR)가 분산 메모리 기반 DBMS에서 네트워크를 성능 저하 요인으로부터 제거하는 데 얼마나 효과적인가?
• RQ2 고대역폭 및 저지연 네트워크 특성을 최대한 활용하기 위해 분산 DBMS 아키텍처는 어떻게 재설계되어야 하는가? 통신을 피하는 것이 아니라 네트워크 통신을 적극적으로 활용해야 한다.
• RQ3 네트워크 기반 메모리(NAM) 아키텍처가 기존의 공유 없음 또는 공유 메모리 모델보다 더 효율적이고 확장 가능한 분산 쿼리 처리를 가능하게 할 수 있는가?
• RQ4 RDMA 인식 쿼리 연산자(예: 집계, 조인)는 기존의 분산 연산자와 비교해 고기수성 및 데이터 분포 불균형 조건에서 어떻게 성능을 발휘하는가?
• RQ5 네트워크 최적화 DBMS에서 로컬 처리와 원격 메모리 액세스 간의 성능 트레이드오���은 무엇이며, 이를 어떻게 모델링하고 최적화할 수 있는가?

주요 결과

• InfiniBand FDR 4×를 사용할 경우 네트워크 대역폭(최대 37.5 GB/s)이 4개의 DDR3-1600 채널의 총 메모리 대역폭(51.2 GB/s)과 유사하거나 이를 초월하여, 네트워크를 성능 자원으로 활용할 수 있음을 시사한다.
• 마이크로 벤치마크 결과 네트워크 전송 속도는 이제 네트워크 대역폭이 아니라 메모리 대역폭에 의해 제한됨을 보여주며, 현대 시스템에서 메모리와 네트워크가 균형을 이루고 있음을 나타낸다.
• 고기수성 그룹 바이 워크로드에서 기존의 계층적 집계 대비 RDMA 집계가 최대 3.5배 빠른 성능 향상을 보이며, 고유 키 수가 증가함에 따라 런타임 증가율이 더 느려진다.
• 제안된 RRJ(RDMA 최적화 범위-해시 조인)는 기존의 RDMA 조인 알고리즘보다 최대 2.5배 더 빠른 성능을 보이며, 특히 고기수성 조건에서 재분할 없이도 뛰어난 성능을 발휘한다.
• NAM 아키텍처는 재분할 없이도 효율적인 확장이 가능하며, 세분화된 병렬 처리를 지원하고, 워크 스틸링 메커니즘을 통해 데이터 분포 불균형 상황에서도 강건성을 향상시킨다.
• 프로토타입은 기존의 가정(예: 분산 트랜잭션 방지, 통신 최소화)이 고속 RDMA 환경에서는 더 이상 타당하지 않으며, 새로운 알고리즘은 바닥부터 설계되어야 한다는 점을 입증한다.