[論文レビュー] PaPy: Parallel and Distributed Data-processing Pipelines in Python

Marcin Cieślik, Cameron Mura|arXiv (Cornell University)|Jul 15, 2014

Scientific Computing and Data Management参考文献 16被引用数 6

ひとこと要約

PaPy は、ユーザー定義関数を有向無閉路グラフ（DAG）のノードとして接続することで、スケーラブルで並列的かつ分散型のデータ処理パイプラインを構築できる Python フレームワークです。このフレームワークは、関数をネストされた高階関数マップに組み合わせることで、ローカルまたはリモートリソース上でパイプラインを透明に並列実行し、動的ロードバランシングと設定可能なバッチ処理（メモリのトレードオフを調整可能）によりスループットを最適化します。

ABSTRACT

PaPy, which stands for parallel pipelines in Python, is a highly flexible framework that enables the construction of robust, scalable workflows for either generating or processing voluminous datasets. A workflow is created from user-written Python functions (nodes) connected by 'pipes' (edges) into a directed acyclic graph. These functions are arbitrarily definable, and can make use of any Python modules or external binaries. Given a user-defined topology and collection of input data, functions are composed into nested higher-order maps, which are transparently and robustly evaluated in parallel on a single computer or on remote hosts. Local and remote computational resources can be flexibly pooled and assigned to functional nodes, thereby allowing facile load-balancing and pipeline optimization to maximize computational throughput. Input items are processed by nodes in parallel, and traverse the graph in batches of adjustable size -- a trade-off between lazy-evaluation, parallelism, and memory consumption. The processing of a single item can be parallelized in a scatter/gather scheme. The simplicity and flexibility of distributed workflows using PaPy bridges the gap between desktop -> grid, enabling this new computing paradigm to be leveraged in the processing of large scientific datasets.

研究の動機と目的

• 大規模な科学的データセットを効率的に処理する課題に対処し、デスクトップ環境からグリッドコンピューティングへのシームレスな移行を可能にすること。
• 低レベルの並列プログラミングを必要とせずに、データ処理ワークフローを構築するための柔軟で合成可能なフレームワークを提供すること。
• 異種のローカルおよびリモートコンピューティング環境にまたがるリソースプールと動的ロードバランシングをサポートすること。
• メモリ使用量、遅延評価、並列処理のバランスを取れるように、バッチサイズを設定可能にすることでパフォーマンスを最適化すること。
• 科学的ワークロードにおけるインタラクティブなデスクトップデータ分析とハイパフォーマンス分散コンピューティングのギャップを埋めること。

提案手法

• ワークフローは、ユーザー定義された Python 関数をノードとし、'パイプ'（エッジ）を通じてデータが流れ込む有向無閉路グラフ（DAG）としてモデル化される。
• 関数はネストされた高階関数マップの抽象化に組み合わされ、単一マシンまたはクラスタ上で透過的な並列実行が可能になる。
• 入力データアイテムは、メモリ消費量、並列処理、遅延評価のバランスを取るために、設定可能なバッチサイズで処理される。
• リソースプールと動的割り当てにより、ローカルおよびリモート実行をサポートし、関数的ノードにリソースを割り当てる。
• 個々のアイテムに対するスキャッタ/ギャザー並列処理がサポートされ、1つの処理ステップ内での細粒度の並列処理が可能になる。
• システムは自動的に障害耐性とロードバランシングを実現し、トポロジーやワークロードの特性に基づいて、利用可能なリソースに作業を分散する。

実験結果

リサーチクエスチョン

• RQ1 高水準の Python フレームワークは、異種のコンピューティング環境にまたがって、スケーラブルで障害に強いデータ処理をどのように実現できるか？
• RQ2 1つのワークフロー抽象化内でローカルと分散実行をシームレスに統合するための設計パターンは何か？
• RQ3 バッチ処理とメモリ使用量をどのようにチューニングすれば、パフォーマンス、並列処理、リソース消費量のバランスを取れるか？
• RQ4 低レベルのシステムプログラミングを伴わずに、関数的で宣言的なパイプラインモデルが、複雑な科学的データワークフローをどの程度サポートできるか？
• RQ5 ローカルおよびリモートリソースにまたがる動的ロードバランシングは、データ集約的ワークロードにおける計算スループットをどの程度向上させるか？

主な発見

• PaPy は、ユーザー定義のワークフロー論理を変更せずに、ローカルマシンとリモートホストの間でデータ処理パイプラインを透明に実行できる。
• フレームワークは、利用可能で負荷の低いリソースに作業を動的に割り当てることで、高い計算スループットを達成する。
• 設定可能なバッチサイズにより、ユーザーはメモリ消費量、並列処理、遅延評価のトレードオフを調整でき、大規模なデータ処理においてパフォーランスの向上が確認された。
• ネストされた高階関数マップの使用により、関数の合成の並列処理が効率化され、分散実行におけるオーバーヘッドが低減された。
• PaPy は、パイプラインノード内で任意の Python モジュールおよび外部バイナリをサポートしており、既存の科学的ソフトウェアスタックとの広範な互換性を確保している。
• フレームワークは、デスクトップスケールのデータ分析とグリッドスケールのワークロードの間を効果的に橋渡しし、科学者が最小限のアーキテクチャ変更でワークフローをスケーリングできるようにした。