[논문 리뷰] A Comprehensive Perspective on the Pilot-Job Abstraction.

Matteo Turilli, Mark Santcroos외 1명|arXiv (Cornell University)|2015. 08. 17.

Distributed and Parallel Computing Systems참고 문헌 73인용 수 3

한 줄 요약

이 논문은 파ilot-작업 시스템의 포괄적인 정의와 아키텍처 프레임워크를 수립하며, 그 동기, 발전 과정, 핵심 추상화를 분석한다. 표준화된 용어를 도입하고, 핵심 논리적 구성요소와 특성을 규명하며, 일곱 가지 구현 사례를 평가하여 분산 과학 계산에서의 상호운용성, 이식 가능성, 강건성을 향상시킨다.

ABSTRACT

Pilot-Job systems play an important role in supporting distributed scientific computing. They are used to consume more than 700 million CPU hours a year by the Open Science Grid communities, and by processing up to 1 million jobs a day for the ATLAS experiment on the Worldwide LHC Computing Grid. With the increasing importance of task-level parallelism in high-performance computing, Pilot-Job systems are also witnessing an adoption beyond traditional domains. Notwithstanding the growing impact on scientific research, there is no agreement upon a definition of Pilot-Job system and no clear understanding of the underlying abstraction and paradigm. Pilot-Job implementations have proliferated with no shared best practices or open interfaces and little interoperability. Ultimately, this is hindering the realization of the full impact of Pilot-Jobs by limiting their robustness, portability, and maintainability. This paper offers a comprehensive analysis of Pilot-Job systems critically assessing their motivations, evolution, properties, and implementation. The three main contributions of this paper are: (i) an analysis of the motivations and evolution of Pilot-Job systems; (ii) an outline of the Pilot abstraction, its distinguishing logical components and functionalities, its terminology, and its architecture pattern; and (iii) the description of core and auxiliary properties of Pilot-Jobs systems and the analysis of seven exemplar Pilot-Job implementations. Together, these contributions illustrate the Pilot paradigm, its generality, and how it helps to address some challenges in distributed scientific computing.

연구 동기 및 목표

• 분산 과학 계산 분야에서 파ilot-작업 시스템의 정의와 설계 원칙에 대한 공감대 부족 문제를 해결하기 위해.
• 핵심 추상화인 파ilot를 식별하고 공식화하여, 그 논리적 구성요소, 기능, 아키텍처 패턴을 포함한다.
• 구현 및 평가를 안내하기 위한 핵심 및 보조 특성에 대한 공통 용어와 프레임워크를 수립하기 위해.
• 제안된 추상화에 부합하는지 평가하기 위해 일곱 가지 대표적 파ilot-작업 구현 사례를 분석하고, 공통 패턴과 격차를 규명하기 위해.
• 파ilot-작업 시스템의 상호운용성, 유지보수성, 이식 가능성을 향상시키기 위해 최선의 실천 방안과 개방형 인터페이스를 수립하기 위해.

제안 방법

• 과학 분야 전반에서 파ilot-작업 시스템의 동기와 역사를 비판적으로 분석하기 위해.
• 작업 제출, 자원 관리, 동적 스케줄링 등을 포함한 명확한 구성요소를 가진 논리적 아키텍처 패턴으로서의 파ilot 추상화를 정의하기 위해.
• 구현 간 명확성과 소통을 향상시키기 위해 표준화된 용어와 개념 모델을 제안하기 위해.
• 장애 내성, 동적 자원 할당 등 핵심 특성과 로드 밸런싱, 모니터링 등 보조 특성과 같은 강력한 시스템에 필수적인 특성을 규명하기 위해.
• 정의된 추상화와 특성에 기반해 일곱 가지 사례 구현(예: Open Science Grid, WLCG/ATLAS)을 평가하여 충실도와 다양성을 평가하기 위해.
• 일반화된 패러다임으로 통합하여 고성능 계산 환경에서 작업 수준의 병렬 처리와 다중 플랫폼 이식 가능성을 지원하기 위해.

실험 결과

연구 질문

• RQ1 과학 계산 분야에서 파ilot-작업 시스템의 개발 배경이 되는 주요 동기와 발전 추진력은 무엇인가?
• RQ2 파ilot-작업 시스템의 핵심 추상화는 무엇이며, 구성요소, 기능, 아키텍처 측면에서 어떻게 공식적으로 정의할 수 있는가?
• RQ3 강력하고 이식 가능한 파ilot-작업 시스템을 구분하는 데 필수적인 핵심 및 보조 특성은 무엇인가?
• RQ4 기존의 파ilot-작업 시스템들은 제안된 추상화와 표준화 프레임워크에 얼마나 부합하는가?
• RQ5 용어, 인터페이스, 특성의 표준화가 분산 과학 계산에서 상호운용성과 유지보수성 향상에 얼마나 기여할 수 있는가?

주요 결과

• 파ilot-작업 시스템은 널리 사용되며, Open Science Grid에서는 매년 7억 이상의 CPU 시간을 처리하고, ATLAS 실험에선 하루에 최대 100만 건의 작업을 처리한다.
• 광범위한 사용에도 불구하고, 파ilot-작업 시스템의 정의, 용어, 아키텍처 패턴에 대한 공감대가 없어 구현이 분산되어 있다.
• 제안된 파ilot 추상화는 동적 작업 스케줄링과 자원 인지 실행을 포함한 식별 가능한 논리적 구성요소를 가진 통합 프레임워크를 제공한다.
• 장애 내성, 동적 자원 할당, 로드 밸런싱과 같은 핵심 특성은 이질적인 컴퓨팅 환경에서의 강력한 운영에 필수적이다.
• 일곱 가지 사례 시스템 분석 결과, 구현 방식에 상당한 차이가 있으며, 상호운용성은 낮고 공통 인터페이스도 부족하다.
• 파ilot 추상화와 관련 특성의 표준화는 과학 계산 워크플로의 이식 가능성, 유지보수성, 장기적 지속 가능성 향상에 크게 기여할 수 있다.