[論文レビュー] Thrill: High-Performance Algorithmic Distributed Batch Data Processing with C++

Timo Bingmann, Michael Axtmann+8 more|Repository KITopen (Karlsruhe Institute of Technology)|Jan 1, 2016

Cloud Computing and Resource Management参考文献 18被引用数 9

ひとこと要約

Thrillは、テンプレートメタプログラミングとアレイベースのデータ構造を活用することで、低遅延かつキャッシュフレンドリーな実行を実現する高パフォーマンスなC++ベースの分散バッチデータ処理フレームワークである。標準ベンチマークにおいてApache SparkやFlinkを最大数倍も上回る性能を発揮しながら、抽象化オーバーヘッドを最小限に抑え、高水準で関数型プログラミングインターフェースを維持している。

ABSTRACT

We present the design and a first performance evaluation of Thrill -- a prototype of a general purpose big data processing framework with a convenient data-flow style programming interface. Thrill is somewhat similar to Apache Spark and Apache Flink with at least two main differences. First, Thrill is based on C++ which enables performance advantages due to direct native code compilation, a more cache-friendly memory layout, and explicit memory management. In particular, Thrill uses template meta-programming to compile chains of subsequent local operations into a single binary routine without intermediate buffering and with minimal indirections. Second, Thrill uses arrays rather than multisets as its primary data structure which enables additional operations like sorting, prefix sums, window scans, or combining corresponding fields of several arrays (zipping). We compare Thrill with Apache Spark and Apache Flink using five kernels from the HiBench suite. Thrill is consistently faster and often several times faster than the other frameworks. At the same time, the source codes have a similar level of simplicity and abstraction

研究の動機と目的

• 手動最適化されたHPCシステムとSpark や Flink のような高水準なビッグデータフレームワークとの間のパフォーマンスギャップを埋めること。
• 最小限の抽象化オーバーヘッドと明示的なメモリ制御を備えたC++で、高パフォーマンスかつスケーラブルなデータ処理を可能にすること。
• C++が分散データ処理において、高水準な表現力と低レベルのパフォーマンスの両方を達成できるかどうかを検証すること。
• JVMベースのフレームワークに対するC++の代替案として、大規模データワークロードにおいて実用的であるかどうかを評価すること。

提案手法

• C++14を用い、テンプレートメタプログラミングによりローカル操作のチェーンを1つの最適化されたルーチンにコンパイルすることで、中間バッファリングを排除し、間接参照を削減する。
• マルチセットの代わりにアレイを主なデータ構造として採用し、ソート、プレフィックス和、ウィンドウスキャン、複数アレイのzippingなどの操作を可能にする。
• テンプレートによるゼロオーバーヘッド抽象化とユーザー定義関数（UDF）のインスタンシエーションを活用し、汎用的で型安全な操作を実現する。
• 計算と通信のオーバーラップを実施し、最適化された機械語コードを用いて実行時オーバーヘッドを最小限に抑える。
• ガベージコレクションのオーバーヘッドを低減しながらパフォーマンスを維持するため、参照カウンティングをメモリ管理に採用する。
• MPIに類似したバッチ同期的かつコラボラティブな実行モードを採用し、メモリ内処理と外部メモリ処理の両方をサポートする。

実験結果

リサーチクエスチョン

• RQ1 C++ベースのフレームワークは、JVMベースのフレームワーク（Spark や Flink）を上回るパフォーマンスを発揮しながらも、高水準なプログラミングインターフェースを維持できるか？
• RQ2 テンプレートメタプログラミングとアレイベースのデータ構造は、分散バッチ処理においてどの程度パフォーマンスを向上させるか？
• RQ3 ビッグデータワークロードにおいて、C++の明示的メモリ管理は、JVMベースのシステムのガベージコレクションと比べてどの程度効果的か？
• RQ4 CPU使用率とネットワーク帯域幅は、分散データ処理フレームワークのパフォーマンスにどのような影響を与えるか？
• RQ5 C++ライブラリは、開発生産性を犠牲にせずに、高パフォーマンスかつスケーラブルなデータ処理の基盤として実用的であるか？

主な発見

• KMeansベンチマークにおいて、16台のホストでSpark（Scala）に対して最大4.1倍の高速化、Flinkに対しては50倍以上の高速化を達成した。
• TeraSortベンチマークでは、Spark（Java）に対して3.5倍、Flinkに対して10倍の性能向上を達成し、CPU使用率も50％（Sparkの27％と比較）と顕著に向上した。
• KMeans実行時におけるネットワーク利用率は、Thrillで25％を記録したのに対し、Sparkではわずか7％にとどまり、通信効率の優位性が示された。
• フレームワークの起動時間は1秒未塔であり、Sparkの5 + 0.4時間（5時間40分）とFlinkのそれよりはるかに速く、著しい差が生じた。
• KMeans実行中、ThrillのCPU使用率は50％に達した。これは計算リソースを効果的に活用していることを示しており、Spark や Flink と比べて著しく低い使用率であった。
• Thrillのパフォーマンス優位性は、オブジェクトのオーバーヘッド削減、効率的なメモリレイアウト、およびテンプレートメタプログラミングによるコンパイル時最適化に起因する。