[論文レビュー] Parallelization in Scientific Workflow Management Systems

Marc Bux, Ulf Leser|arXiv (Cornell University)|Mar 28, 2013

Distributed and Parallel Computing Systems参考文献 80被引用数 31

ひとこと要約

この論文は、科学的ワークフローマネジメントシステム（SWfMS）における並列化技術を調査し、グリッドやクラウドを含む異種インフラストラクチャにわたる分散型でスケーラブルな実行におけるネイティブなサポートの欠如という重要なギャップを特定する。データ集約的な科学的ワークロードにおけるパフォーマンス、使いやすさ、リソース効率の向上を目的として、統合的で適応的なスケジューリング、構造最適化、統一されたデプロイメントモデルを提案する。

ABSTRACT

Over the last two decades, scientific workflow management systems (SWfMS) have emerged as a means to facilitate the design, execution, and monitoring of reusable scientific data processing pipelines. At the same time, the amounts of data generated in various areas of science outpaced enhancements in computational power and storage capabilities. This is especially true for the life sciences, where new technologies increased the sequencing throughput from kilobytes to terabytes per day. This trend requires current SWfMS to adapt: Native support for parallel workflow execution must be provided to increase performance; dynamically scalable "pay-per-use" compute infrastructures have to be integrated to diminish hardware costs; adaptive scheduling of workflows in distributed compute environments is required to optimize resource utilization. In this survey we give an overview of parallelization techniques for SWfMS, both in theory and in their realization in concrete systems. We find that current systems leave considerable room for improvement and we propose key advancements to the landscape of SWfMS.

研究の動機と目的

• ライフサイエンスやその他の分野におけるデータ成長の急激な増加に伴い、科学的ワークフローにおけるスケーラブルで並列的な実行のニーズが高まっていることに対応する。
• グリッドやクラウドのような異種インfraストラクチャをサポートする上で、現在のSWfMSにおける動的リソース割り当て、適応的スケジューリング、およびその制限を特定する。
• 非技術的科学者とハイパフォーマンスコンピューティングの間の使いやすさのギャップを埋め、直感的でありながら強力な並列実行を可能にする。
• データベースクエリ最適化にインspiredされた構造最適化技術を発展させ、細粒度タスクによるランタイムオーバーヘッドを低減する。
• ローカル、グリッド、クラウドリソースの統合を可能にする統一されたフレームワークを提案し、自動的かつ支払い制のプロビジョニングとランタイム適応を実現する。

提案手法

• Taverna, Kepler, Pegasus, Galaxy, Swiftなど15種類以上のSWfMSを調査し、並列処理および分散実行におけるサポートを分析した。
• 既存のスケジューリング戦略を評価し、動的環境において主なボトルネックとなっている、基本的なグリーディーや静的割り当てに依存していることを特定した。
• 実行時統計を活用してリソース特性に応じてタスクを最適なコンピューティングノードにマッチングする、適応的スケジューリングモデルを提案した。
• 短時間実行のタスクを自動的にクラスタリングして複合タスクに統合することで、初期化およびネットワーク遅延オーバーヘッドを低減すべきだと提唱した。
• データベースにインspiredされた最適化技術（例：プッシュダウン選択、プルーニング）をワークフローエグゼキューションプランに統合し、データ処理量を最小限に抑えた。
• ローカル、グリッド、クラウドインfraストラクチャのシームレスな統合を可能にする統一されたデプロイメント抽象化を提案した。

実験結果

リサーチクエスチョン

• RQ1 科学的ワークフローマネジメントシステムは、クラウドやグリッドを含む異種インfraストラクチャにわたる動的でスケーラブルな実行をネイティブにサポートできるようにどのように強化できるか？
• RQ2 共有され、動的で異種なコンピューティング環境において、ワークフローのパフォーマンスを向上させるためにどのようなスケジューリング戦略が有効か？
• RQ3 データベースクエリ処理からインspiredされた構造最適化技術は、科学的ワークフローにおけるランタイムオーバーヘッドを低減するためにどのように適応できるか？
• RQ4 ドメイン科学者にとっての高い使いやすさとSWfMSにおける効率的な並列実行を両立させるためのメカニズムは何か？
• RQ5 プロバンスおよび実行トレースを公開リポジトリに格納・検索することで、ワークフローの重複をどのように低減できるか？

主な発見

• 現在のSWfMSは、動的で支払い制のクラウドおよびグリッドリソースをネイティブにサポートしておらず、実行時適応性が低い静的またはグリーディスケジューリングに依存している。
• 多くのシステムが短時間実行タスクの自動クラスタリングをサポートしておらず、初期化および通信遅延オーバーヘッドが顕著に発生している。
• 実時間パフォーマンスメトリクスに基づく適応的スケジューリングは、共有環境におけるリソース利用効率の向上とワークフロー実行時間の短縮に顕著な効果をもたらす。
• データベースクエリ最適化にインspiredされた構造最適化技術は、データ処理量を削減し、特にフィルタリングや選択ステップを含むワークフローにおいてパフォーマンス向上に寄与する。
• 使いやすさを重視したシステム（例：Galaxy, KNIME）とハイパフォーマンスシステム（例：Pegasus, Swift）の間には明確なギャップがあり、両者を統合したシステムはほとんど存在しない。
• ワークフローおよび実行トレースの公開リポジトリは未活用の状態にあり、重複の低減と科学的再現性の加速の機会が存在する。