[論文レビュー] Toward Common Components for Open Workflow Systems

Jay Jay Billings, Shantenu Jha|arXiv (Cornell University)|Oct 18, 2017

Scientific Computing and Data Management参考文献 3被引用数 3

ひとこと要約

本論文は、科学的ワークフローマネジメントシステムにおける相互運用性と再利用可能性を高めるための、構築ブロックアプローチを提案する。既存のシステムから共通の機能を抽象化し、モジュラーでインタフェース安定なコンポーネントとして設計することで、多様な科学的分野や実行プラットフォームにわたるスケーラブルで保守可能かつ組み合わせ可能なワークフローシステムの構築を可能にする。

ABSTRACT

The role of scalable high-performance workflows and flexible workflow management systems that can support multiple simulations will continue to increase in importance. For example, with the end of Dennard scaling, there is a need to substitute a single long running simulation with multiple repeats of shorter simulations, or concurrent replicas. Further, many scientific problems involve ensembles of simulations in order to solve a higher-level problem or produce statistically meaningful results. However most supercomputing software development and performance enhancements have focused on optimizing single- simulation performance. On the other hand, there is a strong inconsistency in the definition and practice of workflows and workflow management systems. This inconsistency often centers around the difference between several different types of workflows, including modeling and simulation, grid, uncertainty quantification, and purely conceptual workflows. This work explores this phenomenon by examining the different types of workflows and workflow management systems, reviewing the perspective of a large supercomputing facility, examining the common features and problems of workflow management systems, and finally presenting a proposed solution based on the concept of common building blocks. The implications of the continuing proliferation of workflow management systems and the lack of interoperability between these systems are discussed from a practical perspective. In doing so, we have begun an investigation of the design and implementation of open workflow systems for supercomputers based upon common components.

研究の動機と目的

• 科学的ワークフローマネジメントシステム間における急速な分断化と相互運用性の欠如に対処する。
• 多様なワークフローシステムに共通する機能的コンポーネントを特定し、再利用と標準化を可能にする。
• モノリシックなワークフローシステムの複雑さと保守負荷を、モジュラーで組み合わせ可能なコンポーネントによって軽減する。
• ワークフロー論理を下位の実行インfraストラクチャから分離することで、クロスプラットフォームでのワークフロー実行を可能にする。
• 実装上の懸念事項をハイレベルなワークフロー定義から分離することで、科学的ワークフローの持続的開発を促進する。

提案手法

• モデリングとシミュレーション、不確実性の定量化、グリッドワークフロー、概念的ワークフローを含む多様な科学的ワークフローの種類を分析し、共通のパターンを同定する。
• 大規模なスーパーコンピューティング施設の既存のワークフローマネジメントシステムをレビューし、共通する機能要件とアーキテクチャパターンを抽出する。
• タスクオーケストレーション、データ管理、実行スケジューリングなどのコアワークフローサービスをカプセル化する一連の共通の構築ブロックを定義する。
• 特定のフレームワークやソフトウェアスタックに依存しないように、インタフェース安定で独立した構築ブロックを設計し、異なるシステム間での再利用を可能にする。
• モノリシックなコードベースではなく、共有可能でプラグイン可能なコンポーネントから構成できるモジュラーなソフトウェアアーキテクチャを提案する。
• 構築ブロックが、最小限または全く修正が不要な状態で複数のシステム上でワークフローを実行可能にすることにより、相互運用性を実証する。

実験結果

リサーチクエスチョン

• RQ1 多様な科学的ワークフローマネジメントシステムに共通する、再利用可能な構築ブロックに抽象化可能な機能的コンポーネントは何か？
• RQ2 構築ブロックアプローチは、既存の異種ワークフローシステム間の相互運用性をどのように向上させるか？
• RQ3 モノリシックなワークフローシステムと比較して、構築ブロックモデルは複雑さをどのように軽減し、保守性を向上させるか？
• RQ4 構築ブロックは、異なるHPCプラットフォーム上でデータ集約的および計算集約的な科学的ワークフローの両方をサポートできるか？
• RQ5 大規模な科学的コンピューティング環境において、モノリシックシステムを組み合わせ可能で標準化されたコンポーネントに置き換える実用的影響は何か？

主な発見

• 科学的ワークフローシステムの大部分の機能——タスク実行、データステージング、依存関係管理——は、再利用可能なコンポーネントの共通セットに抽象化可能である。
• 構築ブロックアプローチにより、ワークフローが最小限または全く修正が不要な状態で複数のワークフローシステムで実行可能となり、ポータビリティが向上し、ベンダーロックインが軽減される。
• 構築ブロックはソフトウェアスタックやフレームワークとは概念的に別物であり、モularityと相互運用性を両立する高レベルの抽象化を提供する。
• このアプローチにより、コアサービスの開発と保守をアプリケーション固有の論理から分離することで、モノリシックシステムのスケーラビリティと持続可能性の課題に対処する。
• 既存の高度なワークフローシステムは、完全な再実装ではなく段階的移行が可能な構築ブロックのソースとして利用可能である。
• 構築ブロックモデルは、機能特化を可能にしながらも相互運用性を維持するが、Apache BigDataのようなエコシステムで見られるプラットフォーム固有のコンポーネントの増加トレンドに反する。