[논문 리뷰] P*: A Model of Pilot-Abstractions

André Luckow, Mark Santcroos외 4명|arXiv (Cornell University)|2012. 07. 27.

Distributed and Parallel Computing Systems참고 문헌 15인용 수 25

한 줄 요약

이 논문은 분산 사이버인fra구조에서 다양한 구현을 통합하는 최소이면서 완전한 개념적 모델인 P*를 소개한다. Condor-G와 DIANE와 같은 프레임워크들을 P*에 매핑함으로써 저자들은 상호운용성을 위한 공통 기반을 확립하고, 이는 이식 가능한 Pilot-API를 통해 검증되며, 여러 프레임워크의 동시 사용을 가능하게 하여 그리드와 클라우드 간 일관성 있고 확장 가능하며 스케일러블한 실행을 실현한다.

ABSTRACT

Pilot-Jobs support effective distributed resource utilization, and are arguably one of the most widely-used distributed computing abstractions - as measured by the number and types of applications that use them, as well as the number of production distributed cyberinfrastructures that support them. In spite of broad uptake, there does not exist a well-defined, unifying conceptual model of Pilot-Jobs which can be used to define, compare and contrast different implementations. Often Pilot-Job implementations are strongly coupled to the distributed cyber-infrastructure they were originally designed for. These factors present a barrier to extensibility and interoperability. This pa- per is an attempt to (i) provide a minimal but complete model (P*) of Pilot-Jobs, (ii) establish the generality of the P* Model by mapping various existing and well known Pilot-Job frameworks such as Condor and DIANE to P*, (iii) derive an interoperable and extensible API for the P* Model (Pilot-API), (iv) validate the implementation of the Pilot-API by concurrently using multiple distinct Pilot-Job frameworks on distinct production distributed cyberinfrastructures, and (v) apply the P* Model to Pilot-Data.

연구 동기 및 목표

• 분산 사이버인fra구조 간 상호운용성과 확장성을 저해하는 Pilot-Job에 대한 통합 개념 모델의 부재를 해결한다.
• 다양한 구현 간 Pilot-Job의 본질적 의미를 포괄하는 최소이면서 완전한 모델(P*)을 제공한다.
• Condor-G, DIANE, BigJob와 같은 기존 Pilot-Job 프레임워크들을 비교·대조할 수 있는 공통 분석 프레임워크를 수립한다.
• 생산 인프라에서 다수의 Pilot-Job 프레임워크를 동시에 사용할 수 있도록 보장하는 상호운용성 있는 Pilot-API를 설계하고 검증한다.
• Pilot-Data 추상화를 포함하여 분산 실행에서 계산과 데이터를 대칭적으로 처리할 수 있도록 P* 모델을 확장한다.

제안 방법

• 다양한 Pilot-Job 프레임워크 분석을 통해 Pilot-Job, Pilot-Manager, 작업 관리와 같은 핵심 추상화를 도출함으로써 P* 모델을 유도한다.
• 기존 프레임워크(Condor-G/Glide-in, DIANE, BigJob)를 P* 모델에 매핑하여 의미론적 일관성과 개념적 통합을 입증한다.
• 다양한 기반 Pilot-Job 구현을 추상화하는 표준화된 인터페이스인 Pilot-API를 설계하여 투명한 상호운용성을 가능하게 한다.
• 생산 수준의 인프라(예: OSG, XSEDE, EGI)를 사용하여 Pilot-API를 구현하고 검증함으로써 별개의 프레임워크를 동시에 사용하는 것을 입증한다.
• P* 모델을 확장하여 Pilot-Data(PD) 추상화를 포함함으로써 분산 실행에서 데이터와 계산을 대칭적으로 처리할 수 있도록 한다.
• 성능 측정과 실제 워크로드를 활용하여 Pilot-API의 효율성, 확장성, 이질적 환경 간 상호운용성의 잠재력을 평가한다.

실험 결과

연구 질문

• RQ1 다양한 구현 간 비교·대조를 가능하게 하기 위해, 최소이면서 완전하고 통합 가능한 Pilot-Job 개념 모델을 어떻게 정의할 수 있는가?
• RQ2 Condor-G나 DIANE와 같은 기존 Pilot-Job 프레임워크들이 기능 손실 없이 공통 모델에 의미론적으로 매핑될 수 있는 정도는 어느 정도인가?
• RQ3 생산 사이버인fra구조에서 다수의 Pilot-Job 프레임워크를 동시에 사용할 수 있도록 보장하는 표준화된 상호운용성 API(Pilot-API)를 설계하고 검증할 수 있는가?
• RQ4 Pilot-Job 추상화를 어떻게 일반화하여 데이터 관리를 포함한 통합된 Pilot-Data 추상화로 확장할 수 있는가?
• RQ5 이질적이고 생산 수준의 분산 컴퓨팅 환경에서 Pilot-API를 사용할 경우 성능 및 확장성에 어떤 영향을 미치는가?

주요 결과

• P* 모델은 Condor-G/Glide-in, DIANE, BigJob와 같은 다양한 Pilot-Job 프레임워크를 그 핵심 추상화를 공통 개념 프레임워크에 매핑함으로써 성공적으로 통합하였다.
• Pilot-API는 OSG 및 XSEDE와 같은 생산 인프라에서 별개의 Pilot-Job 프레임워크(예: Condor-G와 DIANE) 간 동시 상호운용성을 가능하게 하여, 이러한 동시 상호운용이 처음으로 실현됨을 입증하였다.
• 성능 측정 결과 Pilot-API는 자원의 동적 분배와 융통성 있는 스케줄링의 이점을 바탕으로 데이터 집약적 워크로드에 대해 효율적이고 확장 가능한 실행을 지원하는 것으로 나타났다.
• P* 모델을 Pilot-Data 추상화로 확장함으로써 계산과 데이터를 대칭적으로 처리할 수 있게 되었으며, 향후 데이터/계산 친화도 및 배치 전략에 대한 연구를 지원할 수 있게 되었다.
• Pilot-API는 생산 규모의 과학 워크플로우에 구현되어 실제 활용성과 다양한 분산 사이버인프라에서의 견고함을 검증하였다.
• 연구 결과, Pilot-Job 프레임워크들이 종종 자체 인프라에 깊이 결합되어 있음(예: Condor-G는 OSG에 의존)을 확인하였고, P* 모델이 이러한 결합을 극복하고 이식성과 재사용성을 가능하게 하는 핵심 추상화 계층을 제공함을 밝혔다.