[論文レビュー] Tupleware: Redefining Modern Analytics

Andrew Crotty, Alex Galakatos+4 more|arXiv (Cornell University)|Jun 25, 2014

Parallel Computing and Optimization Techniques参考文献 26被引用数 13

ひとこと要約

Tupleware は、少数から数十台のノードを有する小規模クラスタを想定した通常のユーザー向けに設計された新しい分析システムであり、データ、計算、ハードウェアに配慮した最適化を一体的に設計することで、現代の分析処理を再定義している。ユーザー定義関数を高度に最適化された自己完結型の LLVM ベース分散実行可能コードにコンパイルし、一般的な機械学習ワークロードにおいて Spark や Hadoop と比較して最大 6000× の性能向上を達成している。これは、ケース固有の低レベル最適化を適用することで実現されている。

ABSTRACT

There is a fundamental discrepancy between the targeted and actual users of current analytics frameworks. Most systems are designed for the data and infrastructure of the Googles and Facebooks of the world---petabytes of data distributed across large cloud deployments consisting of thousands of cheap commodity machines. Yet, the vast majority of users operate clusters ranging from a few to a few dozen nodes, analyze relatively small datasets of up to a few terabytes, and perform primarily compute-intensive operations. Targeting these users fundamentally changes the way we should build analytics systems. This paper describes the design of Tupleware, a new system specifically aimed at the challenges faced by the typical user. Tupleware's architecture brings together ideas from the database, compiler, and programming languages communities to create a powerful end-to-end solution for data analysis. We propose novel techniques that consider the data, computations, and hardware together to achieve maximum performance on a case-by-case basis. Our experimental evaluation quantifies the impact of our novel techniques and shows orders of magnitude performance improvement over alternative systems.

研究の動機と目的

• 現在の分析フレームワークがペタバイト規模のクラウド環境を想定して設計されているのに対し、実際の大多数のユーザーがテラバイト規模のデータを扱う小規模クラスタで運用しているという現実との不一致を是正すること。
• プログラミングモデル、コンパイルパイプライン、デプロイアーキテクチャを一体的に設計することで、一般的なハードウェアでも高性能かつメモリ内分析を実現すること。
• 共有状態や反復処理をサポートする複雑なワークフローを可能にする、言語に依存しない関数型プログラミングベースのフロントエンドを提供するとともに、深い低レベル最適化を可能にすること。
• 一般向けフレームワークと手作業で最適化されたシステムとの間の性能ギャップを埋めるために、ハードウェアに配慮した高度にチューニングされた分散実行可能コードを生成すること。
• 小規模クラスタを対象にカスタム最適化を施すことで、Spark や Hadoop といった既存システムと比較して桁違いの性能向上が達成可能であることを実証すること。

提案手法

• Tupleware は、LLVM コンパイラー・フレームワークを介して、モナドを用いた関数型プログラミングモデルにより、言語に依存しない方法で複雑で合成可能なワークフローを表現する。
• 3段階のアーキテクチャを採用：ワークフロー定義のためのフロントエンド、計画最適化とコード生成のためのプログラム合成レイヤー、クラスタ上での実行のためのデプロイレイヤー。
• 関数アナライザーは UDF の統計を抽出し、最適化意思決定の根拠とする。プランナは高レベル最適化を施した抽象実行計画を生成する。
• コードジェネレータは、ケース固有の低レベル最適化（例：SIMD ベクトル化、メモリ帯域幅に配慮したコード生成）を適用することで、自己完結型の分散実行可能コードを生成する。
• Tupleware のデプロイアーキテクチャは、マルチティアのスレッドモデル、特別なタスク割り当て、最適化されたメモリ管理を採用し、オーバーヘッドを低減するとともにロードバランスを向上させる。
• LLVM を活用して、ベクトルユニットやキャッシュ階層といった下位のハードウェア機能に適応した高度に最適化された機械語コードを生成する。

実験結果

リサーチクエスチョン

• RQ1 どのようにすれば、大規模クラウド環境を想定した現在の分析フレームワークではなく、小規模クラスタを対象にした通常のユーザーに適した分析システムを再設計できるか？
• RQ2 データ、計算、ハードウェアを一体的に設計することで、分散分析処理における性能向上をどの程度達成できるか？
• RQ3 言語に依存しない関数型プログラミングベースのフロントエンドは、表現力と深い最適化の可能性を両立させることができるか？
• RQ4 分散環境において、ユーザー定義関数にケース固有の低レベル最適化を適用することで、どの程度の性能向上が達成可能か？
• RQ5 複雑な分析ワークロードにおいて、ハードウェアに配慮したコード生成戦略は、従来のクエリコンパイルや SQL ベースの最適化と比較してどのように異なるか？

主な発見

• Tupleware は、一般的な機械学習ワークロードにおいて、Spark や Hadoop と比較して最大 6000× の高速化を達成しており、ベンチマーク全体での中央値は 10–100× の高速化を示している。
• 本システムは、小規模クラスタを対象にハードウェアに配慮したコンパイルを施すことで、一般向けフレームワークと比較して桁違いの性能向上が達成可能であることを実証している。
• SIMD ベクトル化やメモリ帯域幅に配慮したコード生成といったケース固有の最適化は、HyPer や VectorWise が採用する一般的な最適化戦略をはるかに凌駆する。
• モナドを用いた関数型プログラミングモデルは、反復処理を必要とするシステムとは異なり、複雑なワークフローを簡潔に表現しつつも、強い最適化可能性を維持している。
• Tupleware のデプロイアーキテクチャは、専用スレッドの割り当てと効率的なメモリ管理により、ランタイムオーバーヘッドを低減しており、Spark や Stratosphere が採用するイテレータベースのモデルを上回る性能を発揮している。
• 実験の結果、数テラバイト未満のワークロードに対しても、ハードウェアに配慮したコンパイルが顕著な性能向上をもたらすことが示され、このような最適化は大規模システムにのみ関係するという前提を覆している。