[논문 리뷰] High-Speed Query Processing over High-Speed Networks

Wolf Roediger, Tobias Muehlbauer외 2명|arXiv (Cornell University)|2015. 02. 25.

Cloud Computing and Resource Management인용 수 11

한 줄 요약

이 논문은 고속 InfiniBand 클러스터에서 TCP 오버헤드, 스위치 콘텐션, 로드 불균형 문제를 해결하기 위해 RDMA와 저지연 네트워크 스케줄링을 활용하는 하이브리드 병렬 쿼리 실행 엔진을 제안한다. 로컬 병렬성과 분산 병렬성을 분리하고, 새로운 통신 멀티플렉서를 사용함으로써, 여섯 대의 서버에서 스케일 팩터 100인 TPC-H에서 3.5배의 성능 향상을 달성하여 현대 고대역폭 네트워크를 기반으로 한 진정한 고속 쿼리 처리를 가능하게 한다.

ABSTRACT

Modern database clusters entail two levels of networks: connecting CPUs and NUMA regions inside a single server in the small and multiple servers in the large. The huge performance gap between these two types of networks used to slow down distributed query processing to such an extent that a cluster of machines actually performed worse than a single many-core server. The increased main-memory capacity of the cluster remained the sole benefit of such a scale-out. The economic viability of high-speed interconnects such as InfiniBand has narrowed this performance gap considerably. However, InfiniBand's higher network bandwidth alone does not improve query performance as expected when the distributed query engine is left unchanged. The scalability of distributed query processing is impaired by TCP overheads, switch contention due to uncoordinated communication, and load imbalances resulting from the inflexibility of the classic exchange operator model. This paper presents the blueprint for a distributed query engine that addresses these problems by considering both levels of networks holistically. It consists of two parts: First, hybrid parallelism that distinguishes local and distributed parallelism for better scalability in both the number of cores as well as servers. Second, a novel communication multiplexer tailored for analytical database workloads using remote direct memory access (RDMA) and low-latency network scheduling for high-speed communication with almost no CPU overhead. An extensive evaluation within the HyPer database system using the TPC-H benchmark shows that our holistic approach indeed enables high-speed query processing over high-speed networks.

연구 동기 및 목표

• 고속 클러스터에서 TCP 오버헤드, 스위치 콘텐션, 로드 불균형으로 인한 분산 쿼리 처리 성능 저하 문제를 해결하기 위해.
• NUMA 및 다중 서버 환경에서 전통적인 교환 연산자들의 확장성 한계를 극복하기 위해.
• 분산 쿼리 엔진을 재설계하여 고대역폭 InfiniBand 네트워크를 기반으로 한 고속 쿼리 처리를 가능하게 하기 위해.
• 하드웨어 발전만으로는 확장 가능한 분석 워크로드를 위한 소프트웨어 최적화가 부족할 경우 성능 향상이 불가능하다는 것을 입증하기 위해.
• CPU 오버헤드를 최소화하고 여러 네트워크 레이어를 통해 효율적인 RDMA 기반 데이터 전송을 가능하게 하는 통신 멀티플렉서를 설계하기 위해.

제안 방법

• 서버 내부의 로컬 마이셀 기반 병렬성과 서버 간 통신을 위한 분리된 교환 연산자 간의 차별화를 통해 하이브리드 병렬성을 도입한다.
• RDMA를 사용해 코ピ 없이 데이터 전송을 수행하고 CPU 오버헤드를 거의 제로로 줄이는 새로운 통신 멀티플렉서를 적용한다.
• 고속 InfiniBand 네트워크에서 스위치 콘텐션을 방지하고 데이터 흐름을 동적으로 균형 잡기 위해 저지연 네트워크 스케줄링을 적용한다.
• NUMA 인식 데이터 샤프링을 영감으로 삼아 라운드로빈 스케줄링 전략을 사용하여 동기화 비용을 최소화한다.
• 내부 서버 간(PCIe QPI) 및 외부 서버 간(InfiniBand) 네트워크를 별개이지만 조율된 통신 레이어로 간주하는 이중 레벨 네트워크 인식 설계를 구현한다.
• 다양한 클러스터 크기와 코어 수를 대상으로 HyPer 메모리 기반 데이터베이스 환경에서 TPC-H 벤치마크를 사용해 시스템을 평가한다.

실험 결과

연구 질문

• RQ1 RDMA와 최적화된 스케줄링을 사용할 때, 고대역폭 서버 여러 대에 걸쳐 분산 쿼리 엔진이 선형 확장성을 달성할 수 있는가?
• RQ2 로컬 병렬성과 분산 병렬성을 분리하는 하이브리드 병렬성은 통합된 교환 연산자에 비해 확장성에 얼마나 기여하는가?
• RQ3 TCP/IP 오버헤드와 스위치 콘텐션은 고속 네트워크인 InfiniBand에서 성능을 얼마나 제한하는가?
• RQ4 밀리초 이하의 반응 시간을 갖는 저지연 네트워크 스케줄링은 고처리량 분석 워크로드에서 스위치 콘텐션을 효과적으로 완화할 수 있는가?
• RQ5 내부 서버 및 외부 서버 통신 레이어를 조율하는 통합 설계는 현대 고메모리, 고대역폭 클러스터의 잠재력을 극대화할 수 있는가?

주요 결과

• 제안된 하이브리드 병렬성은 스케일 팩터 100인 TPC-H에서 여섯 대의 서버로 확장할 경우 단일 서버 대비 3.5배의 성능 향상을 달성하며, 기존의 전통적 교환 연산자보다 뚜렷이 뛰어난 성능을 보인다.
• RDMA를 사용함으로써 CPU 오버헤드가 거의 제로 수준으로 감소하여, TCP 처리와 메모리 버스 트래픽으로 인한 성능 저하 요소가 제거된다.
• 스위치 콘텐션은 고속 네트워크에서 성능을 심각하게 제한하지만, 빠른 애플리케이션 수준의 스케줄링이 적용되지 않으면 해결되지 않는다; 제안된 스케줄러는 혼잡을 방지하기 위해 마이크로초 수준의 반응 속도를 보인다.
• RDMA와 지능적인 네트워크 스케줄링, 하이브리드 병렬성을 조합함으로써 단일 서버와 클러스터 기반 쿼리 처리 간의 성능 격차가 해소된다.
• InfiniBand 4× QDR 환경에서 거의 이상적인 확장성을 달성하여, 하드웨어 대역폭만으로는 소프트웨어 수준의 최적화가 없이선 충분하지 않음을 입증한다.
• 평가 결과, 기가비트 이더넷보다 32배 높은 대역폭을 제공함에도 불구하고 RDMA와 스케줄링 없이 성능이 저하됨을 확인하여, 전체 스택 최적화의 필요성을 강조한다.