[論文レビュー] Weld: Rethinking the Interface Between Data-Intensive Applications

Shoumik Palkar, James J. Thomas+8 more|arXiv (Cornell University)|Sep 14, 2017

Parallel Computing and Optimization Techniques参考文献 12被引用数 6

ひとこと要約

Weldは、Spark、TensorFlow、Pandas、NumPyなどの異なるライブラリ間でデータ移動を最適化する新しいインタフェースを提案している。これは、一貫性のある遅延評価型の中間表現（IR）を用いることで、ループ統合やベクトル化といった関数跨ぎ最適化を可能にする。既存のAPIを変更せずに、複数のライブラリを組み合わせたワークフローで最大29倍、単一ライブラリのパイプラインで最大6.5倍の高速化を達成している。

ABSTRACT

Data analytics applications combine multiple functions from different libraries and frameworks. Even when each function is optimized in isolation, the performance of the combined application can be an order of magnitude below hardware limits due to extensive data movement across these functions. To address this problem, we propose Weld, a new interface between data-intensive libraries that can optimize across disjoint libraries and functions. Weld exposes a lazily-evaluated API where diverse functions can submit their computations in a simple but general intermediate representation that captures their data-parallel structure. It then optimizes data movement across these functions and emits efficient code for diverse hardware. Weld can be integrated into existing frameworks such as Spark, TensorFlow, Pandas and NumPy without changing their user-facing APIs. We demonstrate that Weld can speed up applications using these frameworks by up to 29x.

研究の動機と目的

• 独立して最適化されたライブラリ間での過剰なデータ移動が引き起こすデータ分析ワークロードのパフォーマンスボトルネックを解消すること。
• 既存のライブラリAPIを変更せずに、ループ統合やベクトル化といった関数跨ぎ最適化を可能にすること。
• 多様なワークロードにわたるデータ並列計算を表現できる、汎用的でハードウェアに依存しない中間表現（IR）を設計すること。
• 独立して開発されたライブラリ間でのランタイム最適化が、手動最適化コードに近いパフォーマンスを達成できることを示すこと。
• 単一スレッドのライブラリ（例：NumPy や Pandas）を並列ハードウェアで効率的に実行するために、自動並列化を可能にすること。

提案手法

• Weldは、ネストされた並列ループと「ビルダー」と呼ばれる抽象化を基盤とする関数型の中間表現（IR）を用いる。ビルダーは、計算結果を低レベルの実装詳細なしに指定する。
• ライブラリは、遅延評価型のランタイムAPIを通じてIR断片を提供し、実行を強制されるまで実行を延期する。
• Weldの最適化エンジンは、複数のライブラリからのIR断片を統合し、関数境界を越えてループ統合、ループタイリング、ベクトル化などの最適化を適用する。
• マルチコアCPUやGPUを含む多様なハードウェア向けに、効率的な機械語コードを生成するが、Spark SQL や NumPy などのライブラリが使用するネイティブメモリ内データ形式を保持する。
• 軽量なラッパーを介して既存のフレームワークと統合され、ユーザーが使用するAPIとの後方互換性が保たれる。
• IRはリレーショナル、グラフ、機械学習ワークロードを表現でき、異種のデータ並列操作にわたる最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 統一された中間表現は、個々のライブラリ内では不可能な、ライブラリ跨ぎの最適化を可能にするか？
• RQ2 遅延評価とIRの組み合わせによるデータコンpositionは、複数のライブラリを組み合わせたデータ分析パイプラインにおけるデータ移動オーバーヘッドをどの程度削減できるか？
• RQ3 汎用的IRは、XLA や Hyper といった専用システムと同等のパフォーマンスを多様なワークロードで達成できるか？
• RQ4 Weldは、すでに高度に最適化されたライブラリと単一スレッド関数を組み合わせたワークロードをどの程度効果的に最適化できるか？
• RQ5 ソースコードの変更なしに、NumPy や Pandas のような単一スレッドライブラリを自動的に並列化できるか？

主な発見

• Weldは、Spark、TensorFlow、Pandas、NumPy などの複数のデータ集約ライブラリを組み合わせたアプリケーションで最大29倍の高速化を達成している。
• 単一ライブラリからの関数のみを用いたワークフローにおいても、Weldはデータ移動を最小限に抑え、関数跨ぎ最適化を可能にすることで最大6.5倍の高速化を実現している。
• 単一スレッドライブラリ（例：NumPy や Pandas）を自動的に並列化することで、最大180倍の高速化が達成されている。
• Weldは、Spark SQL、TensorFlow、Pandas、NumPy などの既存フレームワークと、それらの公開APIを変更せずに統合できている。
• Weldの最適化エンジンは、ライブラリ境界を越えてループ統合とベクトル化を適用し、中間データの物性化を削減し、メモリ帯域幅の利用効率を向上させている。
• 中間表現は、リレーショナル、グラフ、機械学習ワークロードを表現するのに十分に汎用的であり、多様なハードウェアプラットフォームで高性能なコード生成を可能にしている。