[논문 리뷰] Workflows Community Summit 2022: A Roadmap Revolution

Rafael Ferreira da Silva, Rosa M. Badía외 103명|arXiv (Cornell University)|2023. 03. 31.

Scientific Computing and Data Management인용 수 15

한 줄 요약

이 기술 보고서는 2022 Workflows Community Summit를 요약하고 여섯 개의 횡단 주제, 논의 내용 및 표준, AI, 데이터 관리, HPC/quantum, FAIR성, 연속 컴퓨팅에 걸쳐 과학적 워크플로 기술을 발전시키기 위한 권고 로드맵을 제시합니다.

ABSTRACT

Scientific workflows have become integral tools in broad scientific computing use cases. Science discovery is increasingly dependent on workflows to orchestrate large and complex scientific experiments that range from execution of a cloud-based data preprocessing pipeline to multi-facility instrument-to-edge-to-HPC computational workflows. Given the changing landscape of scientific computing and the evolving needs of emerging scientific applications, it is paramount that the development of novel scientific workflows and system functionalities seek to increase the efficiency, resilience, and pervasiveness of existing systems and applications. Specifically, the proliferation of machine learning/artificial intelligence (ML/AI) workflows, need for processing large scale datasets produced by instruments at the edge, intensification of near real-time data processing, support for long-term experiment campaigns, and emergence of quantum computing as an adjunct to HPC, have significantly changed the functional and operational requirements of workflow systems. Workflow systems now need to, for example, support data streams from the edge-to-cloud-to-HPC enable the management of many small-sized files, allow data reduction while ensuring high accuracy, orchestrate distributed services (workflows, instruments, data movement, provenance, publication, etc.) across computing and user facilities, among others. Further, to accelerate science, it is also necessary that these systems implement specifications/standards and APIs for seamless (horizontal and vertical) integration between systems and applications, as well as enabling the publication of workflows and their associated products according to the FAIR principles. This document reports on discussions and findings from the 2022 international edition of the Workflows Community Summit that took place on November 29 and 30, 2022.

연구 동기 및 목표

• 2021 로드맹를 새로운 컴퓨팅 환경(edge-to-cloud-to-HPC) 변화에 비추어 과학 워크플로 연구 및 개발을 식별하고 업데이트한다.
• 2022 정상 회의에서의 횡단 주제 및 구체적 논의 결과를 강조한다.
• 워크플로 간 interoperability, 데이터 관리, AI 통합을 촉진하기 위한 실행 가능한 단계와 커뮤니티 주도 마일스톤을 권고한다.

제안 방법

• 다양한 국가의 워크플로 이해관계자 106명이 참여한 이틀간의 가상 회의를 조직하고 보고한다.
• 여섯 개의 주제 공동 리더를 중심으로 토론을 주도하고, 각 주제별 전체 회의와분과 세션을 운영한다.
• 이전 로드맵(2021)과 현재 로드맵(2022)에서의 결과물, 도전 과제 및 제안된 해결책을 요약한다.
• 회의 웹사이트와 YouTube 채널의 이용 가능한 강연과 비디오를 참조하고 수집한다.

Figure 1: Screenshot of the 2022 edition of the Workflows Community Summit participants. (The event was held virtually via Zoom on November 29 and 30, 2022.)

실험 결과

연구 질문

• RQ1 현대 과학 워크플로의 상호 운용성, 표준 및 API의 주요 도전 과제와 마일스톤은 무엇인가?
• RQ2 AI/ML 워크플로를 어떻게 특징화하고 벤치마크하며 HPC 환경과 통합해야 하는가?
• RQ3 edge-to-cloud-to-HPC 및 스트리밍/긴급 계산 맥락에서의 데이터 관리 및 인 시투 워크플로 요구사항은 무엇인가?
• RQ4 FAIR 워크플로우, continuum computing, 그리고 시설 간 워크플로 실행에 대한 어떤 권고가 도출되는가?
• RQ5 공동의 지식 기반과 거버넌스(예: Workflow Guild)로의 커뮤니티 발전은 협업을 유지시키기에 어떻게 기여할 수 있는가?

주요 결과

• 2022를 위해 식별된 여섯 가지 횡단 주제: 사양/APIs, AI 워크플로, 고성능 데이터 관리 및 인 시투 워크플로, HPC/quantum 워크플로, FAIR 계산 워크플로, 그리고 continuum/cross-facility computing.
• 분과 토론에서 각 주제별로 구체적 도전 과제, 모범 사례 및 실행 가능한 권고가 도출되었다.
• 보고서는 2021 로드맵의 이정표를 재확인하고 현재의 워크플로 요구 및 새로 등장하는 인프라와 조정한다.
• 상호운용성 강화를 위한 공통 어휘 개발, 가능하면 표준화 및 커뮤니티 주도 지식 기반 구축에 대한 강조가 있다.
• 참조 사양, 표준 및 API를 중심으로 논의가 조직되었으며 Common Workflow Scheduler API 및 GA4GH-스타일 인터페이스와 같은 접근 방식이 검토되었다.
• 벤치마크를 만들고 시설 간의 비교 연구를 가능하게 하는 전용 AI 워크플로 벤치마크 스위트를 만들자는 제안이 있다.