[논문 리뷰] Thrill: High-Performance Algorithmic Distributed Batch Data Processing with C++

Timo Bingmann, Michael Axtmann외 8명|Repository KITopen (Karlsruhe Institute of Technology)|2016. 01. 01.

Cloud Computing and Resource Management참고 문헌 18인용 수 9

한 줄 요약

Thrill은 템플릿 메타프로그래밍과 배열 기반 데이터 구조를 활용하여 저지연, 캐시 우수한 실행을 달성하는 고성능 C++ 기반 분산 배치 데이터 처리 프레임워크입니다. 표준 벤치마크에서 Apache Spark와 Flink를 최대 수 배 빠르게 성능을 냈으며, 최소한의 추상화 오버헤드를 가진 고수준 기능형 프로그래밍 인터페이스를 유지합니다.

ABSTRACT

We present the design and a first performance evaluation of Thrill -- a prototype of a general purpose big data processing framework with a convenient data-flow style programming interface. Thrill is somewhat similar to Apache Spark and Apache Flink with at least two main differences. First, Thrill is based on C++ which enables performance advantages due to direct native code compilation, a more cache-friendly memory layout, and explicit memory management. In particular, Thrill uses template meta-programming to compile chains of subsequent local operations into a single binary routine without intermediate buffering and with minimal indirections. Second, Thrill uses arrays rather than multisets as its primary data structure which enables additional operations like sorting, prefix sums, window scans, or combining corresponding fields of several arrays (zipping). We compare Thrill with Apache Spark and Apache Flink using five kernels from the HiBench suite. Thrill is consistently faster and often several times faster than the other frameworks. At the same time, the source codes have a similar level of simplicity and abstraction

연구 동기 및 목표

• 수작업 최적화된 HPC 시스템과 Spark, Flink와 같은 고수준 빅데이터 프레임워크 사이의 성능 격차를 메우기 위해.
• 최소한의 추상화 오버헤드와 명시적 메모리 제어를 통해 C++에서 고성능이고 확장 가능한 데이터 처리를 가능하게 하기 위해.
• C++가 분산 데이터 처리에서 고수준의 표현력과 저수준 성능을 동시에 제공할 수 있는지 탐색하기 위해.
• JVM 기반 프레임워크에 비해 C++가 대규모 데이터 워크로드에 대해 실용적인 대안이 될 수 있는지 평가하기 위해.

제안 방법

• C++14를 사용하여 로컬 연산 체인을 단일 최적화된 루틴으로 컴iles하여 중간 버퍼링을 제거하고 간접 참조를 줄입니다.
• 다중집합 대신 배열을 주요 데이터 구조로 사용하여 정렬, 접두합, 윈도우 스캔, 다중 배열의 조인과 같은 연산을 가능하게 합니다.
• 템플릿을 통한 제로 오버헤드 추상화와 사용자 정의 함수(UDF) 인스턴스화를 통해 일반적이고 타입 안정적인 연산을 지원합니다.
• 계산과 통신을 겹치고 기계어 수준 최적화된 바이너리 코드를 사용하여 런타임 오버헤드를 최소화합니다.
• 가비지 컬렉션 오버헤드를 줄이면서도 성능을 유지하기 위해 참조 카운팅을 메모리 관리에 활용합니다.
• MPI와 유사한 버블 싱크론태이저드, 집합적 방식으로 실행되어 메모리 내 및 외부 메모리 처리를 모두 지원합니다.

실험 결과

연구 질문

• RQ1 C++ 기반 프레임워크가 고수준 프로그래밍 인터페이스를 유지하면서도 JVM 기반 프레임워크인 Spark와 Flink를 뛰어넘는 성능을 달성할 수 있는가?
• RQ2 템플릿 메타프로그래밍과 배열 기반 데이터 구조가 분산 배치 처리에서 얼마나 성능 향상에 기여하는가?
• RQ3 빅데이터 워크로드에서 C++의 명시적 메모리 관리 방식이 JVM 기반 시스템의 가비지 컬렉션과 비교해 어떻게 다를까?
• RQ4 CPU 활용도와 네트워크 대역폭이 분산 데이터 처리 프레임워크의 성능에 어떤 영향을 미치는가?
• RQ5 C++ 라이브러리가 개발자 생산성을 희생시키지 않고도 고성능이고 확장 가능한 데이터 처리의 실질적인 기반으로 기능할 수 있는가?

주요 결과

• KMeans 벤치마크에서 16台 호스트 환경에서 Thrill은 Spark(Scala) 대비 최대 4.1배 빠르고, Flink 대비 50배 이상 빠릅니다.
• TeraSort 벤치마크에서 Thrill은 Spark(Java) 대비 3.5배, Flink 대비 10배 빠르며, CPU 활용도가 높아(50% 대비 Spark의 27%) 유의미하게 높습니다.
• KMeans 동안 Thrill의 네트워크 활용도는 25%였고, Spark는 7%에 그쳐 통신 효율성이 훨씬 뛰어납니다.
• 프레임워크의 스타트업 시간은 1초 이내였으며, Spark의 5 + 0.4시간과 Flink의 낮은 편이지만 여전히 상당한 스타트업 시간에 비해 크게 빠릅니다.
• KMeans 동안 Thrill의 CPU 활용도는 50%에 도달하여 계산 자원을 효과적으로 활용했고, Spark와 Flink는 훨씬 낮은 활용도를 보였습니다.
• Thrill의 성능 우월성은 객체 오버헤드 감소, 효율적인 메모리 레이아웃, 그리고 템플릿 메타프로그래밍을 통한 컴iles 타임 최적화 덕분입니다.