[논문 리뷰] Massively Parallel Sort-Merge Joins in Main Memory Multi-Core Database Systems

Martina-Cezara Albutiu, Alfons Kemper외 1명|arXiv (Cornell University)|2012. 06. 30.

Algorithms and Data Compression인용 수 4

한 줄 요약

이 논문은 메인메모리 다중코어 데이터베이스 시스템을 대상으로, NUMA 인지형 파artition 기반 정렬을 활용한 대량 병렬 정렬-병합(MPSM) 조인을 제안한다. 이는 확장성 있고 고성능의 동치조인을 가능하게 한다. 각 코어가 로컬 메모리에서 독립적인 런을 병렬로 정렬하고, 이를 점진적으로 병합함으로써 32개 코어에서 거의 선형적 확장성을 달성하며, 10억 튜플 데이터 세트에서 Vectorwise와 같은 최첨단 해시 조인 엔진을 4배 뛰어넘는 성능을 발휘한다.

ABSTRACT

Two emerging hardware trends will dominate the database system technology in the near future: increasing main memory capacities of several TB per server and massively parallel multi-core processing. Many algorithmic and control techniques in current database technology were devised for disk-based systems where I/O dominated the performance. In this work we take a new look at the well-known sort-merge join which, so far, has not been in the focus of research in scalable massively parallel multi-core data processing as it was deemed inferior to hash joins. We devise a suite of new massively parallel sort-merge (MPSM) join algorithms that are based on partial partition-based sorting. Contrary to classical sort-merge joins, our MPSM algorithms do not rely on a hard to parallelize final merge step to create one complete sort order. Rather they work on the independently created runs in parallel. This way our MPSM algorithms are NUMA-affine as all the sorting is carried out on local memory partitions. An extensive experimental evaluation on a modern 32-core machine with one TB of main memory proves the competitive performance of MPSM on large main memory databases with billions of objects. It scales (almost) linearly in the number of employed cores and clearly outperforms competing hash join proposals - in particular it outperforms the "cutting-edge" Vectorwise parallel query engine by a factor of four.

연구 동기 및 목표

• I/O가 더 이상 주요 비용이 되지 않는 현대의 다중코어 메인메모리 데이터베이스에서, 기존 정렬-병합 조인의 성능 저하 문제를 해결한다.
• 중앙집중식으로 처리되는 마지막 병합 단계가 병렬화하기 어려워서 발생하는 기존 정렬-병합 조인의 확장성 한계를 극복한다.
• 코어의 로컬 메모리에 데이터와 연산을 유지함으로써 NUMA 아키텍처를 최적화하여 원격 메모리 접근과 동기화 오버헤드를 최소화한다.
• 기존의 해시 조인 및 레이디스 조인 기법보다 뛰어난 성능과 선형적 확장성을 확보하여, 현대의 32코어 테라바이트 규모 메인메모리 서버에서 고성능을 달성한다.
• 메인메모리 데이터베이스에서 운영 비즈니스 인텔리전스 워크로드를 위한 효율적이고 실시간의 쿼리 처리를 가능하게 한다.

제안 방법

• 부분 파artition 기반 정렬을 사용: 각 코어가 할당된 데이터 파artition을 독립적으로 로컬 런으로 정렬하여 전역 동기화를 피한다.
• NUMA 인지형 데이터 배치를 적용하여 각 코어가 자신의 로컬 메모리 노드에서 데이터를 정렬하고 처리함으로써 지연과 대역폭 압력을 감소시킨다.
• 정렬된 런을 병렬로 점진적으로 병합하여 중앙집중식 최종 병합 단계가 필요 없도록 한다.
• 동기화가 불필요한 히스토그램 기반 파artition을 사용하여 구축 단계에서 코어 간 효율적이고 저비용의 데이터 분배를 가능하게 한다.
• 각 코어의 프라이빗 메모리 공간 내에서 효율적인 내부 정렬을 위해 고유한 레이디스/인트로소트 하이브리드 알고리즘을 구현한다.
• 병합 단계에서 순차적 액세스 패턴을 활용하여 캐시와 하드웨어 프리패처 효율을 극대화한다.

실험 결과

연구 질문

• RQ1 메인메모리 다중코어 환경에서 수백 개 코어에 걸쳐 거의 선형적으로 확장 가능한 정렬-병합 조인이 설계될 수 있는가?
• RQ2 중앙집중식 최종 병합 단계를 피하고 독립적인 런을 병행으로 병합함으로써, 기존 정렬-병합 또는 해시 조인 기법보다 더 높은 성능과 NUMA 효율성을 달성할 수 있는가?
• RQ3 대규모 메인메모리 데이터에서, 최첨단 해시 조인 엔진인 Vectorwise와 Wisconsin 해시 조인과 비교해 볼 때, NUMA 최적화된 정렬-병합 조인의 성능은 어떠한가?
• RQ4 복잡한 동기화나 동적 메모리 할당에 의존하지 않고도, 병렬 정렬-병합 조인에서 캐시 국소성과 하드웨어 프리패처를 얼마나 효과적으로 활용할 수 있는가?
• RQ5 MPSM에서 로컬로 정렬된 런이라는 물리적 성질을 활용하여, 이후 쿼리 연산(예: 세미조인 또는 세미조인 푸시다운)의 최적화를 이끌 수 있는가?

주요 결과

• MPSM는 1TB 메인메모리, 32코어 서버에서 32개 코어에서 거의 선형적 확장성을 달성하여 강력한 수평 확장성을 입증한다.
• 10억 튜플 데이터 세트에서 MPSM는 Vectorwise의 병렬 쿼리 엔진을 4배 뛰어넘는 성능을 발휘한다. 이는 Vectorwise가 고급 레이디스 조인과 벡터화된 처리를 사용하고 있음에도 불구하고 그렇다.
• MPSM의 성능 우월성은 원격 메모리 접근을 최소화하고 세밀한 동기화를 피하는 NUMA 우수 설계 덕분이다.
• 중앙집중식 최종 병합 단계를 제거함으로써, 기존 정렬-병합 조인에서 발생하는 주요 확장성 장애 요소를 피한다.
• 정렬된 런의 점진적 병합은 높은 캐시 국소성과 함께 하드웨어 프리패처의 이점을 극대화하여 메모리 액세스 효율을 향상시킨다.
• 알고리즘의 출력인 로컬로 정렬된 런은 기존 정렬-병합 조인과 유사하게, 이후 연산(예: 세미조인 또는 세미조인 푸시다운)의 최적화를 가능하게 할 수 있다.