[논문 리뷰] Analysis of Distributed Execution of Workloads.

Matteo Turilli, Yadu Babuji외 5명|arXiv (Cornell University)|2016. 05. 31.

Distributed and Parallel Computing Systems참고 문헌 12인용 수 4

한 줄 요약

이 논문은 다양한 생산 자원 간에 이질적이고 분리된 워크로드를 확장 가능하고 상호 운용 가능한 분산 실행을 가능하게 하기 위해 AIMES 미들웨어와 Swift를 통합한 프레임워크를 제안한다. 실행 전략을 실험적으로 비교함으로써, 백필 스케줄링이 완료 시간을 단축시키고 피лот 분할을 완화함으로써 다섯 개의 다양한 자원을 통해 다단계 워크플로우 실행을 효율적으로 가능하게 한다.

ABSTRACT

Resource selection and task placement for distributed execution poses conceptual and implementation difficulties. Although resource selection and task placement are at the core of many tools and workflow systems, the models and methods are underdeveloped. Consequently, partial and non-interoperable implementations proliferate. We address both the conceptual and implementation difficulties by experimentally characterizing diverse modalities of resource selection and task placement. We compare the architectures and capabilities of two systems: the AIMES middleware and Swift workflow scripting language and runtime. We integrate these systems to enable the distributed execution of Swift workflows on Pilot-Jobs managed by the AIMES middleware. Our experiments characterize and compare alternative execution strategies by measuring the time to completion of heterogeneous uncoupled workloads executed at diverse scale and on multiple resources. We measure the adverse effects of pilot fragmentation and early binding of tasks to resources and the benefits of backfill scheduling across pilots on multiple resources. We then use this insight to execute a multi-stage workflow across five production-grade resources. We discuss the importance and implications for other tools and workflow systems.

연구 동기 및 목표

• 분산 워크플로우의 자원 선택 및 작업 배치에 있어 개념적 및 구현적 과제를 해결하기 위해.
• AIMES 미들웨어와 Swift 워크플로우 시스템의 아키텍처 및 기능을 비교하여 분산 실행을 지원하는 능력을 평가하기 위해.
• 피롯 분할과 조기 작업 바인딩이 워크플로우 완료 시간에 미치는 영향을 평가하기 위해.
• 다중 피롤 잡을 통해 백필 스케줄링의 이점을 탐색하여 자원 활용도를 향상시키기 위해.
• 다섯 개의 생산 수준 자원을 통해 다단계 워크플로우의 종단 간 실행을 가능하게 하고 평가하기 위해.

제안 방법

• AIMES 미들웨어와 Swift 워크플로우 시스템을 통합하여 피롤 잡 관리와 워크플로우 실행을 조율하기 위해.
• AIMES가 관리하는 피롤 잡을 사용하여 지속적이고 사전 할당된 자원을 제공하여 Swift 워크플로우를 실행하기 위해.
• 다양한 규모의 이질적이고 분리된 워크로드에 대해 다섯 개 이상의 자원에서 완료 시간을 실험적으로 측정하기 위해.
• 백필 스케줄링 유무를 비교하여 성능 향상을 평가하기 위해.
• 조기 작업 바인딩과 피롤 분할이 워크플로우 효율성에 미치는 영향을 분석하기 위해.
• 다섯 개의 생산 수준 자원을 통해 다단계 워크플로우를 실행하여 확장성과 상호 운용성 검증하기 위해.

실험 결과

연구 질문

• RQ1 작업을 자원에 조기 바인딩할 경우 분산 워크로드의 완료 시간에 어떤 영향을 미치는가?
• RQ2 피롤 분할은 분산 워크플로우 실행의 성능과 확장성에 어떤 영향을 미치는가?
• RQ3 다중 피롤 잡을 통해 백필 스케줄링이 워크플로우 완료 시간을 얼마나 향상시키는가?
• RQ4 AIMES와 Swift 간의 아키텍처적 차이가 상호 운용성과 자원 활용도에 어떤 영향을 미치는가?
• RQ5 통합 시스템을 사용하여 다섯 개의 이질적이고 생산 수준의 자원을 통해 다단계 워크플로우를 효율적이고 신뢰성 있게 실행할 수 있는가?

주요 결과

• 다중 피롤 잡을 통한 백필 스케줄링은 자원 활용도를 향상시켜 워크플로우 완료 시간을 크게 단축시킨다.
• 피롤 분할은 분산 실행 환경에서 완료 시간을 증가시키고 확장성을 저하시킨다.
• 작업을 자원에 조기 바인딩할 경우, 특히 변동성이 큰 워크로드 조건에서 비효율성이 악화된다.
• AIMES와 Swift의 통합은 다양한 생산 자원에서 상호 운용 가능하고 확장 가능한 다단계 워크플로우 실행을 가능하게 한다.
• 실험적 평가를 통해 제안된 전략이 완료 시간을 단축시키고 이질적이고 대규모 실행 환경에서의 내구성을 향상시킨다.