[논문 리뷰] Realizing Fast, Scalable and Reliable Scientific Computations in Grid Environments

Yong Zhao, Ioan Raicu외 4명|ArXiv.org|2008. 08. 26.

Distributed and Parallel Computing Systems참고 문헌 33인용 수 33

한 줄 요약

이 논문은 과학적 워크플로우를 그리드 환경에서 빠르고 확장 가능하며 신뢰성 있게 실행할 수 있도록 SwiftScript, 카라잔 엔진, 팔콘 작업 실행을 통합한 워크플로우 관리 시스템인 Swift을 제시한다. 다중 수준 스케줄링과 간소화된 디스패처를 활용함으로써 Swift는 기존 배치 스케줄러 대비 최대 90% 빠른 실행 시간을 달성하며, 천체물리학, 신경과학, 분자역학 워크로드에서 동적이고 세밀한 워크플로우를 크게 줄어든 코드 크기로 구현할 수 있다.

ABSTRACT

The practical realization of managing and executing large scale scientific computations efficiently and reliably is quite challenging. Scientific computations often involve thousands or even millions of tasks operating on large quantities of data, such data are often diversely structured and stored in heterogeneous physical formats, and scientists must specify and run such computations over extended periods on collections of compute, storage and network resources that are heterogeneous, distributed and may change constantly. We present the integration of several advanced systems: Swift, Karajan, and Falkon, to address the challenges in running various large scale scientific applications in Grid environments. Swift is a parallel programming tool for rapid and reliable specification, execution, and management of large-scale science and engineering workflows. Swift consists of a simple scripting language called SwiftScript and a powerful runtime system that is based on the CoG Karajan workflow engine and integrates the Falkon light-weight task execution service that uses multi-level scheduling and a streamlined dispatcher. We showcase the scalability, performance and reliability of the integrated system using application examples drawn from astronomy, cognitive neuroscience and molecular dynamics, which all comprise large number of fine-grained jobs. We show that Swift is able to represent dynamic workflows whose structures can only be determined during runtime and reduce largely the code size of various workflow representations using SwiftScript; schedule the execution of hundreds of thousands of parallel computations via the Karajan engine; and achieve up to 90% reduction in execution time when compared to traditional batch schedulers.

연구 동기 및 목표

• 이질적이고 동적인 그리드 자원을 통해 수천에서 수백만 개의 작업을 포함한 대규모 과학적 워크플로우를 관리하고 실행하는 데 도전하는 문제를 해결하기 위해.
• 복잡하고 동적인 과학적 워크플로우를 지정하고 관리하는 데 있어 복잡성과 코드 크기를 줄이기 위해.
• 기존의 배치 스케줄러에 비해 분산된 그리드 환경에서 실행 성능, 확장성, 신뢰성 향상을 위해.
• 이질적이고 동적인 환경에서 수십만 개의 동시 계산을 효율적으로 스케줄링하기 위해.
• 실행 시점에 결정되는 워크플로우 구조를 가진 세밀한 제어와 데이터 집약적인 과학적 워크로드를 지원하기 위해.

제안 방법

• 시스템은 복잡한 과학적 워크플로우를 간결하고 가독성 있게 표현할 수 있도록 고수준 스크립팅 언어인 SwiftScript를 사용한다.
• 카라잔 워크플로우 엔진은 병렬로 워크플로우를 실행하며, 런타임에 해결되는 동적 구조를 지원한다.
• 팔콘은 다중 수준 스케줄링과 간소화된 디스패처를 갖춘 경량 작업 실행 서비스로 자원 활용도를 최적화한다.
• Swift, 카라잔, 팔콘의 통합은 분산된 그리드 환경에서 사양부터 실행까지 전 과정의 워크플로우 관리를 가능하게 한다.
• 기존의 그리드 미들웨어 구성 요소를 추상화 레이어를 통해 활용함으로써 상호 운용성과 이식 가능성을 보장한다.
• 워크플로우는 실행 중에 동적으로 변화할 수 있는 이질적인 컴퓨팅, 스토리지, 네트워크 자원을 통해 실행된다.

실험 결과

연구 질문

• RQ1 대규모 그리드 환경에서 동적이고 데이터에 의존하는 워크플로우의 구조를 효율적으로 지정하고 실행할 수 있는 방법은 무엇인가?
• RQ2 통합된 워크플로우 시스템이 대규모 과학 응용 프로그램의 코드 크기와 개발 복잡성을 얼마나 줄일 수 있는가?
• RQ3 기존의 배치 스케줄러에 비해 경량이고 확장 가능한 작업 실행 서비스가 성능과 신뢰성 향상에 기여할 수 있는가?
• RQ4 워크플로우와 작업 관리를 통합함으로써 그리드 컴퓨팅에서 실행 시간과 확장성 측면에서 어떤 성능 향상을 달성할 수 있는가?
• RQ5 이질적이고 분산된 자원을 통해 세밀한 제어와 데이터 집약적인 워크로드를 얼마나 효과적으로 처리할 수 있는가?

주요 결과

• 통합된 Swift 시스템은 대규모 과학적 워크로드에서 기존의 배치 스케줄러 대비 최대 90% 빠른 실행 시간을 달성한다.
• SwiftScript는 워크플로우 표현의 코드 크기를 크게 줄여 더 유지보수 가능하고 가독성 있는 사양을 가능하게 한다.
• 카라잔 엔진은 하나의 워크플로우에서 수십만 개의 동시 계산을 성공적으로 스케줄링하고 실행한다.
• 실제 응용 사례인 천체물리학, 인지신경과학, 분자역학 분야에서 높은 신뢰성과 확장성을 입증한다.
• 실행 시점에 결정되는 동적 워크플로우는 Swift 프레임워크를 통해 효율적으로 관리되고 실행된다.
• 팔콘 작업 실행 서비스는 최적화된 다중 수준 스케줄링과 경량 디스패칭을 통해 성능 향상에 기여한다.