[논문 리뷰] Parallelization in Scientific Workflow Management Systems

Marc Bux, Ulf Leser|arXiv (Cornell University)|2013. 03. 28.

Distributed and Parallel Computing Systems참고 문헌 80인용 수 31

한 줄 요약

이 논문은 과학적 워크플로우 관리 시스템(SWfMS)에서의 병렬화 기법을 조사하며, 격자와 클라우드 환경을 포함한 분산형, 확장 가능한 실행에 대한 내재된 지원 부족을 지적한다. 데이터 집약적인 과학적 워크로드에서 성능, 사용성, 자원 효율성을 향상시키기 위해 통합적이고 적응형 스케줄링, 구조적 최적화, 통합된 배포 모델을 제안한다.

ABSTRACT

Over the last two decades, scientific workflow management systems (SWfMS) have emerged as a means to facilitate the design, execution, and monitoring of reusable scientific data processing pipelines. At the same time, the amounts of data generated in various areas of science outpaced enhancements in computational power and storage capabilities. This is especially true for the life sciences, where new technologies increased the sequencing throughput from kilobytes to terabytes per day. This trend requires current SWfMS to adapt: Native support for parallel workflow execution must be provided to increase performance; dynamically scalable "pay-per-use" compute infrastructures have to be integrated to diminish hardware costs; adaptive scheduling of workflows in distributed compute environments is required to optimize resource utilization. In this survey we give an overview of parallelization techniques for SWfMS, both in theory and in their realization in concrete systems. We find that current systems leave considerable room for improvement and we propose key advancements to the landscape of SWfMS.

연구 동기 및 목표

• 생명과학 및 기타 분야에서 급격히 증가하는 데이터 성장에 따라 과학적 워크플로우에서 확장 가능하고 병렬 실행이 필요한 요구를 해결한다.
• 현재의 SWfMS가 동적 자원 할당, 적응형 스케줄링, 격자 및 클라우드와 같은 이질적 인프라 지원 측면에서 겪는 한계를 규명한다.
• 비기술적 과학자들과 고성능 컴퓨팅 간의 사용성 격차를 해소하기 위해 직관적이면서도 강력한 병렬 실행을 가능하게 한다.
• 세부 작업의 런타임 오버헤드를 줄이기 위해 데이터베이스 쿼리 최적화에서 영감을 얻은 구조적 최적화 기법을 발전시킨다.
• 로컬, 격자, 클라우드 자원을 통합하는 통합 프레임워크를 제안하여 동적 프로비저닝과 런타임 적응을 자동화한다.

제안 방법

• Taverna, Kepler, Pegasus, Galaxy, Swift 등 15개 이상의 SWfMS를 조사하고 병렬성 및 분산 실행 지원 여부를 분석하였다.
• 기존 스케줄링 전략을 평가하여 동적 환경에서 기본적인 그리디 또는 정적 할당에 의존하는 것이 주요 성능 저하 요인임을 밝혀냈다.
• 런타임 통계를 활용해 자원 특성에 기반해 최적의 컴퓨팅 노드에 작업을 매칭하는 적응형 스케줄링 모델을 제안하였다.
• 초기화 및 네트워크 지연 오버헤드를 줄이기 위해 짧은 실행 시간을 가진 작업들을 자동으로 복합 작업으로 클러스터링할 것을 주장하였다.
• 데이터 처리를 최소화하기 위해 워크플로우 실행 계획에 데이터베이스 기반 최적화 기법(예: 푸시다운 선택, 프루닝)을 통합하였다.
• 로컬, 격자, 클라우드 인프라의 통합을 가능하게 하는 통합된 배포 추상화를 제안하여 동적 프로비저닝을 지원하였다.

실험 결과

연구 질문

• RQ1 과학적 워크플로우 관리 시스템은 어떻게 하이브리드 인프라(예: 클라우드, 격자)에서 동적이고 확장 가능한 실행을 내재적으로 지원할 수 있는가?
• RQ2 공유된, 동적이고 이질적인 컴퓨팅 환경에서 워크플로우 성능을 향상시키기 위한 스케줄링 전략은 무엇인가?
• RQ3 데이터베이스 쿼리 처리에서 유래한 구조적 최적화 기법은 과학적 워크플로우에서 런타임 오버헤드를 줄이기 위해 어떻게 적응시킬 수 있는가?
• RQ4 도메인 과학자들에게 높은 사용성과 효율적인 병렬 실행을 동시에 제공할 수 있는 메커니즘은 무엇인가?
• RQ5 공개 저장소에서 프로바너스 및 실행 추적 정보를 어떻게 저장하고 검색할 수 있는가? 이를 통해 워크플로우의 중복을 줄일 수 있는가?

주요 결과

• 현재의 SWfMS는 동적이고, 사용료 기반의 클라우드 및 격자 자원을 내장으로 지원하지 못하며, 런타임 적응 능력이 떨어지는 정적 또는 그리디 스케줄링에 의존하고 있다.
• 많은 시스템에서 짧은 실행 시간을 가진 작업의 자동 클러스터링을 지원하지 않아 초기화 및 통신 지연 오버헤드로 인해 심각한 성능 저하가 발생한다.
• 실시간 성능 메트릭을 기반으로 한 적응형 스케줄링은 공유 환경에서 자원 활용도를 크게 향상시키고 워크플로우 실행 시간을 단축시킬 수 있다.
• 데이터베이스 쿼리 최적화에서 영감을 얻은 구조적 최적화 기법은 데이터 처리량을 줄이고 성능을 향상시킬 수 있으며, 특히 필터링 및 선택 단계가 포함된 워크플로우에서 효과가 크다.
• 사용성 중심의 시스템(Galaxy, KNIME 등)과 고성능 시스템(Pegasus, Swift 등) 사이에 명확한 격차가 있으며, 두 가지를 모두 통합한 시스템은 극히 소수에 그친다.
• 워크플로우 및 실행 추적 정보를 저장하는 공개 저장소는 여전히 활용도가 낮아 중복을 줄이고 과학적 재현성을 가속화할 수 있는 기회가 있다.