[論文レビュー] Realizing Fast, Scalable and Reliable Scientific Computations in Grid Environments

Yong Zhao, Ioan Raicu+4 more|ArXiv.org|Aug 26, 2008

Distributed and Parallel Computing Systems参考文献 33被引用数 33

ひとこと要約

本論文では、SwiftScript、Karajanエンジン、Falkonタスク実行を統合したワークフロー管理システムSwiftを提示する。このシステムにより、グリッド環境における大規模な科学的ワークフローの高速でスケーラブルかつ信頼性の高い実行が可能になる。マルチレベルスケジューリングと簡素化されたディスpatcherを活用することで、Swiftは従来のバッチスケジューラーと比較して実行時間を最大90％短縮する。また、天文学者、神経科学、分子動力学のワークロードにおいて、動的で細粒度のワークフローを大幅にコードサイズを削減して実現する。

ABSTRACT

The practical realization of managing and executing large scale scientific computations efficiently and reliably is quite challenging. Scientific computations often involve thousands or even millions of tasks operating on large quantities of data, such data are often diversely structured and stored in heterogeneous physical formats, and scientists must specify and run such computations over extended periods on collections of compute, storage and network resources that are heterogeneous, distributed and may change constantly. We present the integration of several advanced systems: Swift, Karajan, and Falkon, to address the challenges in running various large scale scientific applications in Grid environments. Swift is a parallel programming tool for rapid and reliable specification, execution, and management of large-scale science and engineering workflows. Swift consists of a simple scripting language called SwiftScript and a powerful runtime system that is based on the CoG Karajan workflow engine and integrates the Falkon light-weight task execution service that uses multi-level scheduling and a streamlined dispatcher. We showcase the scalability, performance and reliability of the integrated system using application examples drawn from astronomy, cognitive neuroscience and molecular dynamics, which all comprise large number of fine-grained jobs. We show that Swift is able to represent dynamic workflows whose structures can only be determined during runtime and reduce largely the code size of various workflow representations using SwiftScript; schedule the execution of hundreds of thousands of parallel computations via the Karajan engine; and achieve up to 90% reduction in execution time when compared to traditional batch schedulers.

研究の動機と目的

• 異種で動的なグリッドリソースにわたり、数千から数百万のタスクを含む大規模な科学的ワークフローの管理と実行の課題に対処すること。
• 複雑で動的な科学的ワークフローの指定と管理の複雑さとコードサイズを低減すること。
• 従来のバッチスケジューラーと比較して、分散グリッド環境における実行性能、スケーラビリティ、信頼性を向上させること。
• 動的で異種の環境において、数十万の並列計算を効率的にスケジューリングできること。
• 実行時におけるワークフローモデルの決定に依存する細粒度のデータ集約型科学的ワークロードをサポートすること。

提案手法

• 本システムは、SwiftScriptと呼ばれる高水準スクリプト言語を用い、複雑な科学的ワークフローを簡潔かつ読みやすい形で表現する。
• Karajanワークフロー・エンジンは並列で実行され、実行時において解決される動的構造をサポートする。
• Falkonは、マルチレベルスケジューリングと簡素化されたディスpatcherを備えた軽量なタスク実行サービスであり、リソース利用効率を最適化する。
• Swift、Karajan、Falkonの統合により、分散グリッド環境における仕様から実行までのエンドツーエンドのワークフロー管理が可能になる。
• 抽象化レイヤーを通じて既存のグリッドミドルウェアコンponentsを活用し、相互運用性とポータビリティを確保する。
• ワークフローは、実行中に動的に変化する可能性がある異種の計算、ストレージ、ネットワークリソースを跨いで実行される。

実験結果

リサーチクエスチョン

• RQ1 大規模なグリッド環境において、動的でデータ依存的な構造を持つ科学的ワークフローをどのように効率的に指定・実行できるか？
• RQ2 統合されたワークフローシステムは、大規模な科学的アプリケーションにおいて、コードサイズと開発の複雑さをどの程度低減できるか？
• RQ3 軽量でスケーラブルなタスク実行サービスは、従来のバッチスケジューラーと比較して、パフォーマンスと信頼性を向上させられるか？
• RQ4 グリッドコンピューティングにおいて、統合されたワークフローとタスク管理を用いることで、実行時間とスケーラビリティの面でどの程度のパフォーマンス向上が達成できるか？
• RQ5 本システムは、異種で分散されたリソースを跨いで、細粒度のデータ集約型ワークロードをどの程度効果的に処理できるか？

主な発見

• 統合されたSwiftシステムは、大規模な科学的ワークロードにおいて、従来のバッチスケジューラーと比較して最大90％の実行時間短縮を達成する。
• SwiftScriptは、ワークフロー表現のコードサイズを顕著に削減し、保守性と可読性の高い仕様を可能にする。
• Karajanエンジンは、1つのワークフロー内で数十万の並列計算を効率的にスケジューリング・実行するのに成功した。
• 本システムは、天文学、認知神経科学、分子動力学分野の実世界の応用において、高い信頼性とスケーラビリティを示した。
• 実行時に決定される構造の動的ワークフローは、Swiftフレームワークを用いて効率的に管理・実行された。
• Falkonタスク実行サービスは、最適化されたマルチレベルスケジューリングと軽量なディスpatchングにより、パフォーマンス向上に貢献した。