[논문 리뷰] Workflows Community Summit: Advancing the State-of-the-art of Scientific Workflows Management Systems Research and Development

Rafael Ferreira da Silva, Henri Casanova외 56명|arXiv (Cornell University)|2021. 06. 09.

Scientific Computing and Data Management참고 문헌 21인용 수 15

한 줄 요약

이 논문은 이질적인 HPC 및 클라우드 플랫폼 간의 상호운용성, 워크플로우 패턴 및 벤치마크의 표준화를 통해 과학 워크플로우 관리 시스템(WMS)의 발전을 위한 커뮤니티 주도의 로드맵을 제안한다. 신원 인증, 사이트 능력 탐색, 원격 실행에 대한 기술 전략을 제시하며, 주요 성과로는 사이트 메타데이터를 위한 JSON 스키마와 워크플로우 시스템, HPC 시설, 신원 인증 제공자 간의 협력적 회의를 통한 표준화를 촉구한다.

ABSTRACT

Scientific workflows are a cornerstone of modern scientific computing, and they have underpinned some of the most significant discoveries of the last decade. Many of these workflows have high computational, storage, and/or communication demands, and thus must execute on a wide range of large-scale platforms, from large clouds to upcoming exascale HPC platforms. Workflows will play a crucial role in the data-oriented and post-Moore's computing landscape as they democratize the application of cutting-edge research techniques, computationally intensive methods, and use of new computing platforms. As workflows continue to be adopted by scientific projects and user communities, they are becoming more complex. Workflows are increasingly composed of tasks that perform computations such as short machine learning inference, multi-node simulations, long-running machine learning model training, amongst others, and thus increasingly rely on heterogeneous architectures that include CPUs but also GPUs and accelerators. The workflow management system (WMS) technology landscape is currently segmented and presents significant barriers to entry due to the hundreds of seemingly comparable, yet incompatible, systems that exist. Another fundamental problem is that there are conflicting theoretical bases and abstractions for a WMS. Systems that use the same underlying abstractions can likely be translated between, which is not the case for systems that use different abstractions. More information: https://workflowsri.org/summits/technical

연구 동기 및 목표

• 다양한 WMS 간의 분열 문제를 해결하기 위해 공통 표준을 수립하고 진입 장벽을 줄이기 위해.
• 서로 다른 WMS 추상화 및 구현 모델로 인해 발생하는 상호운용성 문제를 극복하기 위해.
• GPU, 가속기, 엑사스케일 시스템을 포함한 진화하는 HPC 소프트웨어/하드웨어 스택과의 통합을 향상시키기 위해.
• 원격 작업 실행 및 자원 탐색을 간소화하기 위해, 기능적 능력의 표준화된 기계가 읽을 수 있는 레지스트리 구축을 위해.
• OAuth 및 SciTokens과 같은 현대 표준을 활용해 자동화된 워크플로우를 위한 안전하고 프로그래밍 가능한 신원 인증을 가능하게 하기 위해.

제안 방법

• 75명의 국제 연구자 및 개발자가 참가한 온라인 워크플로우 커뮤니티 서밋을 통해 기술적 과제와 해결책을 식별했다.
• 워크플로우 패턴 및 벤치마크, 상호운용성, HPC 스택 통합이라는 세 가지 핵심 주제에 초점을 맞춘 세션을 운영했다.
• 시설, WMS, 사용자가 자원과 정책에 대한 메타데이터를 계층적으로 쌓는 방식의 계단식 모델을 제안했다.
• 필수 사이트 속성(예: 배치 시스템, 파일 시스템, 데이터 전송 방법)을 표준화하기 위해 기계가 읽을 수 있는 JSON 스키마를 주장했다.
• 기존 신원 인증 모델(SSH, GSISSH, OAuthSSH)을 평가하고, 안전하고 자동화된 액세스를 위해 OAuth 및 SciTokens의 도입을 촉진했다.
• WMS 개발자, HPC 운영자, 신원 인증 제공자 간의 협력적 회의를 통해 프로그래밍 가능한 액세스 표준을 통일하기 위한 촉구를 하였다.

실험 결과

연구 질문

• RQ1 다양한 WMS 간에서 일관된 평가 및 튜토리얼 활용을 가능하게 하기 위해 공통 워크플로우 패턴과 벤치마크를 어떻게 정의할 수 있는가?
• RQ2 서로 다른 추상화를 사용하는 워크플로우 시스템 간의 상호운용성을 가능하게 하는 기술적 및 아키텍처적 접근 방식은 무엇인가?
• RQ3 신뢰할 수 있는 원격 실행을 지원하기 위해 필수적으로 탐색 가능하고 기계가 읽을 수 있어야 하는 최소한의 사이트 능력은 무엇인가?
• RQ4 OAuth 및 SciTokens과 같은 현대 신원 인증 표준을 WMS에 통합하여 안전하고 자동화되며 장기적인 액세스를 지원할 수 있는 방법은 무엇인가?
• RQ5 커뮤니티 주도의 서밋과 공유 레지스트리는 WMS, HPC 시설, 신원 인증 제공자 간의 표준을 통일하는 데 어떤 역할을 해야 하는가?

주요 결과

• 기능적 능력의 표준화된 기계가 읽을 수 있는 JSON 스키마를 커뮤니티 주도로 정의하는 것은 신뢰할 수 있는 워크플로우 이식성의 핵심적인 첫걸음이다.
• Globus MDS 및 GLUE와 같은 기존 카탈로그 모델은 중앙집중식이고 확장 가능한 사이트 메타데이터 레지스트리 구축에 유용한 사례를 제공한다.
• OAuth 및 SciTokens의 도입은 신뢰성 있고 확장 가능한 프로그래밍 가능한 신원 인증의 길을 열어주며, 취약한 SSH 및 프oxy 증명서 의존도를 줄인다.
• 특히 이중 인증 및 다중 인증 기반의 인증 요구사항 변화로 인해 원격 작업 실행은 여전히 주요 과제로 남아 있다.
• WMS 간의 상호운용성은 서로 다른 이론적 추상화로 인해 저해되며, 공통 패턴과 인터페이스 표준화가 진전을 위해 필수적이다.
• WMS 개발자, HPC 시설 운영자, 신원 인증 제공자 간의 협력적 서밋을 통해 신원 인증 및 능력 탐색 표준을 통일하는 것이 권장된다.