[논문 리뷰] Toward Common Components for Open Workflow Systems

Jay Jay Billings, Shantenu Jha|arXiv (Cornell University)|2017. 10. 18.

Scientific Computing and Data Management참고 문헌 3인용 수 3

한 줄 요약

이 논문은 과학적 워크플로우 관리 시스템을 위한 상호운용성 있고 재사용 가능한 구성 요소를 만들기 위해 빌딩 블록 방식을 제안한다. 이는 분열화와 표준화 부족 문제를 해결하기 위한 것이다. 기존 시스템들에서 공통 기능을 추상화하여 모듈화되고 인터페이스가 안정된 구성 요소로 만들면, 다양한 과학적 분야와 실행 플랫폼에서 확장 가능하고 유지보수 용이하며 조합 가능한 워크플로우 시스템을 구축할 수 있다.

ABSTRACT

The role of scalable high-performance workflows and flexible workflow management systems that can support multiple simulations will continue to increase in importance. For example, with the end of Dennard scaling, there is a need to substitute a single long running simulation with multiple repeats of shorter simulations, or concurrent replicas. Further, many scientific problems involve ensembles of simulations in order to solve a higher-level problem or produce statistically meaningful results. However most supercomputing software development and performance enhancements have focused on optimizing single- simulation performance. On the other hand, there is a strong inconsistency in the definition and practice of workflows and workflow management systems. This inconsistency often centers around the difference between several different types of workflows, including modeling and simulation, grid, uncertainty quantification, and purely conceptual workflows. This work explores this phenomenon by examining the different types of workflows and workflow management systems, reviewing the perspective of a large supercomputing facility, examining the common features and problems of workflow management systems, and finally presenting a proposed solution based on the concept of common building blocks. The implications of the continuing proliferation of workflow management systems and the lack of interoperability between these systems are discussed from a practical perspective. In doing so, we have begun an investigation of the design and implementation of open workflow systems for supercomputers based upon common components.

연구 동기 및 목표

• 과학적 워크플로우 관리 시스템 간의 점점 심화되는 분열화와 상호운용성 부족 문제를 해결하기 위해.
• 다양한 워크플로우 시스템 간의 공통 기능적 구성 요소를 식별하여 재사용성과 표준화를 가능하게 하기 위해.
• 모듈화되고 조합 가능한 구성 요소를 통해 단일 코드베이스 기반 워크플로우 시스템의 복잡성과 유지보수 부담을 줄이기 위해.
• 워크플로우 로직을 기반 실행 인프라에서 분리함으로써 다양한 플랫폼 간 워크플로우 실행을 가능하게 하기 위해.
• 구현 관련 고려사항을 고수준의 워크플로우 정의에서 분리함으로써 과학적 워크플로우의 지속 가능한 발전을 촉진하기 위해.

제안 방법

• 모델링 및 시뮬레이션, 불확실성 정량화, 격자 워크플로우, 개념적 워크플로우를 포함한 다양한 과학적 워크플로우 유형을 분석하여 공통 패턴을 도출하기 위해.
• 대규모 초고성능 컴퓨팅 시설의 기존 워크플로우 관리 시스템을 검토하여 공통 기능 요구사항과 아키텍처 패턴을 추출하기 위해.
• 작업 오케스트레이션, 데이터 관리, 실행 스케줄링과 같은 핵심 워크플로우 서비스를 봉인하는 일련의 공통 빌딩 블록을 정의하기 위해.
• 특정 프레임워크나 소프트웨어 스택에 종속되지 않도록 인터페이스가 안정된 빌딩 블록을 설계하여 다양한 시스템 간 재사용성을 보장하기 위해.
• 공유 가능한 플러그인 방식의 구성 요소로 구성된 모듈러 소프트웨어 아키텍처를 제안하여 단일 코드베이스 기반 워크플로우 시스템이 아닌 조립 방식의 워크플로우 시스템을 구축하기 위해.
• 빌딩 블록이 다양한 시스템에서 워크플로우를 최소한의 수정으로 실행할 수 있도록 함으로써 상호운용성을 입증하기 위해.

실험 결과

연구 질문

• RQ1 다양한 과학적 워크플로우 관리 시스템 간에 존재하는 공통 기능적 구성 요소는 무엇이며, 이를 재사용 가능한 빌딩 블록으로 추상화할 수 있는가?
• RQ2 빌딩 블록 접근 방식은 기존의 이질적인 워크플로우 시스템 간의 상호운용성을 어떻게 향상시킬 수 있는가?
• RQ3 빌딩 블록 모델은 단일 코드베이스 기반 워크플로우 시스템에 비해 복잡성 감소와 유지보수성 향상에 어떤 방식으로 기여하는가?
• RQ4 빌딩 블록은 다양한 HPC 플랫폼에서 데이터 집약적 및 계산 집약적 과학적 워크플로우를 모두 지원할 수 있는가?
• RQ5 대규모 과학 계산 환경에서 단일 코드베이스 기반 시스템을 조립 가능한 표준화된 구성 요소로 대체할 경우 실용적 영향은 무엇인가?

주요 결과

• 과학적 워크플로우 시스템 전반에서 볼 때, 작업 실행, 데이터 스테이징, 의존성 관리와 같은 기능의 상당 부분을 공통된 재사용 가능한 구성 요소 집합으로 추상화할 수 있다.
• 빌딩 블록 접근 방식은 워크플로우를 최소한의 수정으로 여러 워크플로우 시스템에서 실행할 수 있도록 하여 이식성과 벤더 종속성 감소를 향상시킨다.
• 빌딩 블록은 소프트웨어 스택이나 프레임워크와 개념적으로 구분되며, 모듈성과 상호운용성을 지원하는 더 높은 수준의 추상화를 제공한다.
• 이 접근 방식은 핵심 서비스 개발 및 유지보수를 애플리케이션 전용 로직에서 분리함으로써 단일 코드베이스 기반 시스템의 확장성과 지속 가능성 문제를 해결한다.
• 기존의 고도로 발전한 워크플로우 시스템은 빌딩 블록의 원천이 될 수 있으며, 전체 재구현이 아닌 점진적 이행이 가능하다.
• 빌딩 블록 모델은 기능 특화를 가능하게 하면서도 상호운용성을 유지할 수 있으며, Apache BigData와 같은 생태계에서 관찰되는 플랫폼 전용 구성 요소의 폭발적 증가 경향에 대비하는 데 기여한다.