[論文レビュー] Workflows Community Summit 2022: A Roadmap Revolution

Rafael Ferreira da Silva, Rosa M. Badía+103 more|arXiv (Cornell University)|Mar 31, 2023

Scientific Computing and Data Management被引用数 15

ひとこと要約

本技術報告書は2022年のWorkflows Community Summitを要約し、six 横断的トピックとそれらの議論、および標準、AI、データ管理、HPC/量子、FAIRness、連続体計算にわたる科学的ワークフロー技術を前進させるための推奨ロードマップを示す。

ABSTRACT

Scientific workflows have become integral tools in broad scientific computing use cases. Science discovery is increasingly dependent on workflows to orchestrate large and complex scientific experiments that range from execution of a cloud-based data preprocessing pipeline to multi-facility instrument-to-edge-to-HPC computational workflows. Given the changing landscape of scientific computing and the evolving needs of emerging scientific applications, it is paramount that the development of novel scientific workflows and system functionalities seek to increase the efficiency, resilience, and pervasiveness of existing systems and applications. Specifically, the proliferation of machine learning/artificial intelligence (ML/AI) workflows, need for processing large scale datasets produced by instruments at the edge, intensification of near real-time data processing, support for long-term experiment campaigns, and emergence of quantum computing as an adjunct to HPC, have significantly changed the functional and operational requirements of workflow systems. Workflow systems now need to, for example, support data streams from the edge-to-cloud-to-HPC enable the management of many small-sized files, allow data reduction while ensuring high accuracy, orchestrate distributed services (workflows, instruments, data movement, provenance, publication, etc.) across computing and user facilities, among others. Further, to accelerate science, it is also necessary that these systems implement specifications/standards and APIs for seamless (horizontal and vertical) integration between systems and applications, as well as enabling the publication of workflows and their associated products according to the FAIR principles. This document reports on discussions and findings from the 2022 international edition of the Workflows Community Summit that took place on November 29 and 30, 2022.

研究の動機と目的

• 新しい computing landscapes (edge-to-cloud-to-HPC) を踏まえて、科学的ワークフロー研究開発の2021年ロードマップを特定・更新する。
• 2022年サミットの横断的トピックと具体的な議論の成果を強調する。
• ワークフローの相互運用性、データ管理、AI統合を進める具体的な行動ステップとコミュニティ主導のマイルストーンを推奨する。

提案手法

• 複数国のワークフロー関係者からなる106名の参加者を集めた2日間のオンラインサミットを組織し、報告する。
• 6つのトピック共同リーダーを中心に、全体セッションとブレイクアウトセッションを組み合わせた議論を主導する。
• 過去および現行のロードマップ（2021年と2022年）からの成果、課題、提案解決策を要約する。
• サミットのウェブサイトとYouTubeチャンネルにある公表済みの講演と動画を参照・カタログ化する。

Figure 1: Screenshot of the 2022 edition of the Workflows Community Summit participants. (The event was held virtually via Zoom on November 29 and 30, 2022.)

実験結果

リサーチクエスチョン

• RQ1 現代の科学的ワークフローにおける相互運用性、標準、およびAPIの主要な課題とマイルストーンは何か？
• RQ2 AI/MLワークフローはどのように特徴づけ、ベンチマークし、HPC環境と統合すべきか？
• RQ3 edge-to-cloud-to-HPCおよびストリーミング/緊急計算コンテキストにおけるデータ管理とインシチュワークフローの要件は何か？
• RQ4 FAIRワークフロー、連続体計算、クロスファシリティワークフロー実行に関する推奨事項は何か？
• RQ5 共同作業を持続するために、共通のナレッジベースとガバナンス（例：Workflow Guild）へコミュニティをどのように進化させることができるか？

主な発見

• 2022年には六つの横断的トピックが特定された：仕様/APIs、AIワークフロー、高性能データ管理とイン・シチュワークフロー、HPC/量子ワークフロー、FAIR計算ワークフロー、連続体/クロスファシリティ計算。
• ブレイクアウト討議は各トピックごとに具体的な課題、例、実行可能な推奨事項を生み出した。
• 報告書は2021年のロードマイルストーンを再確認・再検討し、現在のワークフローのニーズと新興インフラと整合させる。
• 共通語彙の整備、可能な範囲での標準化、相互運用性を高めるためのコミュニティ主導のナレッジベースの開発を強調している。
• サミットは参照仕様、標準、およびAPIに関する討議を組織し、Common Workflow Scheduler APIやGA4GHスタイルのインターフェースのようなアプローチを検討した。
• 施設間の比較研究を可能にするベンチマークと専用のAIワークフロー・ベンチマークスイートの作成を求める呼びかけがある。