[論文レビュー] Workflows Community Summit: Advancing the State-of-the-art of Scientific Workflows Management Systems Research and Development

Rafael Ferreira da Silva, Henri Casanova+56 more|arXiv (Cornell University)|Jun 9, 2021

Scientific Computing and Data Management参考文献 21被引用数 15

ひとこと要約

本論文は、異種のHPCおよびクラウドプラットフォーム間で、ワークフローのパターン、ベンチマーク、相互運用性を標準化することで、科学的ワークフローマネジメントシステム（WMS）の発展を促進するコミュニティ主導のロードマップを提言する。認証、サイトの能力発見、リモート実行に関する技術的戦略を提示し、主要な成果としてサイトメタデータ用のJSONスキーマの策定と、ワークフローシステム、HPC施設、認証プロバイダーを統一するための合同サミット開催を呼びかけている。

ABSTRACT

Scientific workflows are a cornerstone of modern scientific computing, and they have underpinned some of the most significant discoveries of the last decade. Many of these workflows have high computational, storage, and/or communication demands, and thus must execute on a wide range of large-scale platforms, from large clouds to upcoming exascale HPC platforms. Workflows will play a crucial role in the data-oriented and post-Moore's computing landscape as they democratize the application of cutting-edge research techniques, computationally intensive methods, and use of new computing platforms. As workflows continue to be adopted by scientific projects and user communities, they are becoming more complex. Workflows are increasingly composed of tasks that perform computations such as short machine learning inference, multi-node simulations, long-running machine learning model training, amongst others, and thus increasingly rely on heterogeneous architectures that include CPUs but also GPUs and accelerators. The workflow management system (WMS) technology landscape is currently segmented and presents significant barriers to entry due to the hundreds of seemingly comparable, yet incompatible, systems that exist. Another fundamental problem is that there are conflicting theoretical bases and abstractions for a WMS. Systems that use the same underlying abstractions can likely be translated between, which is not the case for systems that use different abstractions. More information: https://workflowsri.org/summits/technical

研究の動機と目的

• 科学的ワークフローマネジメントシステム（WMS）における分断を解消し、共通の基準を確立し、参入障壁を低減すること。
• 異なるWMSの抽象化および実装モデルの不整合性に起因する相互運用性の課題を克服すること。
• GPU、アクセラレータ、エクサスケールシステムを含む、進化を続けるHPCのソフトウェア／ハードウェアスタックとWMSの統合を改善すること。
• リモートジョブ実行およびリソース発見を簡素化するために、標準化された機械可読のサイト能力レジストリを開発すること。
• OAuthやSciTokensといった現代の基準を用いて、安全で自動化された、長期間にわたるアクセスを可能にするプログラム可能な認証を実現すること。

提案手法

• 国際的な75名の研究者・開発者が参加したオンラインのワークフロー・コミュニティ・サミットを実施し、技術的課題と解決策を同定した。
• ワークフローのパターンとベンチマーク、相互運用性、HPCスタックとの統合の3つの主要トピックについて、集中セッションを実施した。
• 施設、WMS、ユーザーがリソースおよびポリシーに関するメタデータを段階的に重ねる、段階的なサイト能力情報モデルを提唱した。
• 必須のサイトプロパティ（例：バッチシステム、ファイルシステム、データ転送方法）を標準化するための機械可読JSONスキーマの導入を提唱した。
• 既存の認証モデル（SSH、GSISSH、OAuthSSH）を評価し、安全で自動化されたアクセスを可能にするためにOAuthおよびSciTokensの採用を推進した。
• WMS開発者、HPC運用者、認証プロバイダーが参加する合同サミットの開催を呼びかけ、プログラム可能なアクセス基準を統一することを目的とした。

実験結果

リサーチクエスチョン

• RQ1 多様なWMS間で一貫した評価やチュートリアル利用が可能となるよう、共通のワークフローのパターンとベンチマークをどのように定義できるか？
• RQ2 異なる抽象化を用いるワークフローシステム間の相互運用性を実現するための技術的およびアーキテクチャ的アプローチは何か？
• RQ3 信頼性のあるリモート実行を支援するために、最小限で必須のサイト能力として、発見可能で機械可読である必要があるのはどのようなものか？
• RQ4 OAuthやSciTokensといった現代の認証基準をWMSに統合することで、安全で自動化され、長期間にわたるアクセスを可能にする方法は何か？
• RQ5 コミュニティ主導のサミットと共有レジストリが、WMS、HPC施設、認証プロバイダーの統合をどのように促進すべきか？

主な発見

• 必須のサイト能力を標準化し、機械可読のJSONスキーマとして定義するコミュニティ主導の取り組みは、信頼性の高いワークフローの移植性を実現するための重要な第一歩である。
• Globus MDS や GLUE といった既存のカタログモデルは、中央集権的で拡張可能なサイトメタデータレジストリを構築する上で、有用な先行事例を提供している。
• OAuthおよびSciTokensの採用は、脆弱なSSHやプロキシ証明書に依存しない、スケーラブルで安全なプログラム可能な認証の道筋を提供する。
• 特に二段階認証や多段階認証が導入されている状況では、認証要件の変化が進む中で、リモートジョブ実行が依然として主な課題のままである。
• WMS間の相互運用性は、理論的抽象化の相違に起因して阻害されており、共通のパターンとインターフェースに標準化することが進展の鍵である。
• WMS開発者、HPC施設運用者、認証プロバイダーが参加する合同サミットの開催を推奨する。これにより、認証および能力発見基準の統一が図られる。