[논문 리뷰] Workflows Community Summit: Bringing the Scientific Workflows Community Together

Rafael Ferreira da Silva, Henri Casanova외 43명|arXiv (Cornell University)|2021. 03. 16.

Scientific Computing and Data Management참고 문헌 12인용 수 27

한 줄 요약

본 연구는 Workflows Community Summit(2021년 1월)에 대해 보고하며, 여섯 가지 주제별 논의를 요약하고 과학적 워크플로 관리 시스템과 더 넓은 워크플로 생태계를 발전시키기 위한 단기 및 장기 커뮤니티 노력을 제안합니다.

ABSTRACT

Scientific workflows have been used almost universally across scientific domains, and have underpinned some of the most significant discoveries of the past several decades. Many of these workflows have high computational, storage, and/or communication demands, and thus must execute on a wide range of large-scale platforms, from large clouds to upcoming exascale high-performance computing (HPC) platforms. These executions must be managed using some software infrastructure. Due to the popularity of workflows, workflow management systems (WMSs) have been developed to provide abstractions for creating and executing workflows conveniently, efficiently, and portably. While these efforts are all worthwhile, there are now hundreds of independent WMSs, many of which are moribund. As a result, the WMS landscape is segmented and presents significant barriers to entry due to the hundreds of seemingly comparable, yet incompatible, systems that exist. As a result, many teams, small and large, still elect to build their own custom workflow solution rather than adopt, or build upon, existing WMSs. This current state of the WMS landscape negatively impacts workflow users, developers, and researchers. The "Workflows Community Summit" was held online on January 13, 2021. The overarching goal of the summit was to develop a view of the state of the art and identify crucial research challenges in the workflow community. Prior to the summit, a survey sent to stakeholders in the workflow community (including both developers of WMSs and users of workflows) helped to identify key challenges in this community that were translated into 6 broad themes for the summit, each of them being the object of a focused discussion led by a volunteer member of the community. This report documents and organizes the wealth of information provided by the participants before, during, and after the summit.

연구 동기 및 목표

• 과학적 워크플로 및 WMS 생태계의 현황과 그 단편화를 문서화한다.
• 워크플로 커뮤니티가 직면한 여섯 가지 핵심 주제 도전과제를 파악한다.
• 서밋의 구조, 참가자 및 산출물을 요약한다.
• 확인된 도전과제를 해결하기 위한 단기 및 장기 커뮤니티 노력을 제안한다.
• 두 NSF/DOE 프로젝트(WorkflowsRI 및 ExaWorks)가 현장을 발전시키기 위해 어떻게 협력하는지 개요를 제시한다.

제안 방법

• 요구사항과 도전과제를 식별하기 위한 서밋 전 커뮤니티 연구 인프라 설문조사.
• 국제 WMS 개발자와 사용자로부터 초청된 48명의 참가자가 참여하는 온라인 서밋; 발표 세션과 이후 분과 토론이 이어졌다.
• 분과 토의의 주제별 합성을 통해 도전과제와 제시된 조치를 식별했다.
• 주제별 단기 및 장기 커뮤니티 노력 등 결과물의 문서화.
• 인프라 및 SDK 개발에 정보를 제공하기 위한 교차 프로젝트 협력(WorkflowsRI 및 ExaWorks).

실험 결과

연구 질문

• RQ1 수명주기, 재사용, 산출 계보(provenance), 라벨링에서 FAIR 컴퓨테이셔널 워크플로의 핵심 도전과제는 무엇인가?
• RQ2 워크플로 사용자에게 어떤 교육 및 학습 필요가 있으며 어떻게 해결할 수 있는가?
• RQ3 과학 워크플로우 내 AI/ML 기반 워크플로의 고유한 요구사항과 도전과제는 무엇인가?
• RQ4 엑사스케일 및 그 이상 HPC 고려사항이 워크플로 실행, 자원 관리 및 장애 허용에 어떤 영향을 미치는가?
• RQ5 상호운용성, API 및 표준을 어떻게 발전시켜 WMS의 단편화를 줄일 수 있는가?
• RQ6 개발자와 사용자가 함께하는 응집력 있는 워크플로우 커뮤니티를 어떻게 구축하고 지속할 수 있는가?

주요 결과

• 여섯 가지 주제(FAIR 워크플로, 교육/훈련, AI 워크플로, 엑사스케일 도전과제, API/상호운용성/표준, 워크플로우 커뮤니티 구축)와 관련 도전과제를 확인했다.
• 각 주제별로 확인된 도전과제를 해결하기 위한 구체적인 단기 및 장기 커뮤니티 노력을 제안했다.
• 설문조사, 라이트닝 토크, breakout 세션 등을 포함한 서밋 구조와 NSF/DoE 프로젝트 WorkflowsRI 및 ExaWorks의 참여를 문서화했다.
• WMS 생태계의 단편화를 줄이기 위한 공통 지식 기반과 커뮤니티 주도 가이드라인의 필요성을 개요했다.
• FAIR성, 교육 및 표준을 향상시키기 위해 기존 등록소, 워크플로 저장소 및 교육과정을 활용할 것을 권장했다.
• AI 워크플로 사용 사례를 만들고 궁극적으로 벤치마킹 미니 앱을 통해 HPC 공동 설계 및 평가를 가이드하는 것을 제안했다.