[논문 리뷰] Modular Resource Centric Learning for Workflow Performance Prediction

Alok Singh, Mai H. Nguyen외 3명|arXiv (Cornell University)|2017. 11. 15.

Scientific Computing and Data Management참고 문헌 20인용 수 3

한 줄 요약

이 논문은 분산 시스템에서 워크플로우 성능 예측을 향상시키기 위해 모듈형이고 자원 중심의 기계학습 접근법을 제안한다. 워크플로우를 물리적 자원 실행 계획(PREP)으로 변환하고, 각 자원 유형별로 전용 모델을 훈련시음으로써 다양한 혼잡도 하에서 동적 및 정적 특징을 포착함으로써, 대규모 플랫폼에서 복잡한 워크플로우의 예측 정확도를 크게 향상시킨다.

ABSTRACT

Workflows provide an expressive programming model for fine-grained control of large-scale applications in distributed computing environments. Accurate estimates of complex workflow execution metrics on large-scale machines have several key advantages. The performance of scheduling algorithms that rely on estimates of execution metrics degrades when the accuracy of predicted execution metrics decreases. This in-progress paper presents a technique being developed to improve the accuracy of predicted performance metrics of large-scale workflows on distributed platforms. The central idea of this work is to train resource-centric machine learning agents to capture complex relationships between a set of program instructions and their performance metrics when executed on a specific resource. This resource-centric view of a workflow exploits the fact that predicting execution times of sub-modules of a workflow requires monitoring and modeling of a few dynamic and static features. We transform the input workflow that is essentially a directed acyclic graph of actions into a Physical Resource Execution Plan (PREP). This transformation enables us to model an arbitrarily complex workflow as a set of simpler programs running on physical nodes. We delegate a machine learning model to capture performance metrics for each resource type when it executes different program instructions under varying degrees of resource contention. Our algorithm takes the prediction metrics from each resource agent and composes the overall workflow performance metrics by utilizing the structure of the corresponding Physical Resource Execution Plan.

연구 동기 및 목표

• 대규모 분산 플랫폼에서의 워크플로우 실행 시 정확도가 떨어지는 성능 예측 문제를 해결하기 위해.
• 워크플로우 실행 메트릭의 보다 정확한 추정을 제공함으로써 스케줄링 알고리즘의 효율성을 향상시키기 위해.
• 특정 자원에서 프로그램 명령어와 성능 메트릭 간의 복잡한 관계를 모델링하기 위해.
• 예측 정밀도 향상을 위해 복잡한 워크플로우를 더 단순한 자원별 실행 단위로 분해하기 위해.
• PREP 구조를 활용하여 개별 자원 수준의 예측을 조합하여 종단 간 워크플로우 성능 메트릭을 도출하기 위해.

제안 방법

• 워크플로우의 방향성 비순환 그래프(DAG)를 물리적 자원 실행 계획(PREP)으로 변환하여 작업을 물리적 노드에 매핑하기 위해.
• 자원 유형별로 별도의 기계학습 에이전트를 훈련시어 자원 혼잡도 변화에 따른 성능 메트릭을 모델링하기 위해.
• 각 자원 에이전트의 입력으로 특정 자원에서 실행되는 프로그램 명령어의 정적 및 동적 특징을 캡처하기 위해.
• PREP 구조를 사용하여 개별 자원 예측을 종단 간 워크플로우 성능 추정치로 조합하기 위해.
• 워크플로우의 실행 계획과 자원 할당에 기반하여 자원별 모델의 예측을 집계하기 위해.
• 각 자원 유형이 자체 훈련된 모델을 갖는 모듈형 학습 프레임워크를 적용하여 확장 가능하고 정확한 예측을 가능하게 하기 위해.

실험 결과

연구 질문

• RQ1 이질적인 자원을 가진 대규모 분산 환경에서 워크플로우 성능 예측 정확도를 어떻게 향상시킬 수 있는가?
• RQ2 워크플로우 수준이 아닌 자원 수준에서 성능을 모델링할 경우 어떤 영향을 미치는가?
• RQ3 워크플로우를 자원별 실행 계획으로 분해하는 것이 예측 정밀도와 정확도를 향상시키는 데 기여하는가?
• RQ4 프로그램 명령어의 동적 및 정적 특징이 자원 혼잡도 변화 상황에서 성능 예측에 어떤 영향을 미치는가?
• RQ5 모듈형이고 자원 중심인 접근 방식이 통합된 예측 모델에 비해 어느 정도 뛰어난 성능을 보이는가?

주요 결과

• 모듈형 자원 중심 접근 방식은 자원 혼잡도 변화 상황에서 자원별 행동을 모델링함으로써 예측 정확도를 크게 향상시킨다.
• 물리적 자원 실행 계획(PREP)의 사용은 워크플로우 작업을 물리적 노드에 정확하게 매핑함으로써 모델의 해석 가능성과 정확도를 향상시킨다.
• 자원 유형별 전용 기계학습 에이전트를 훈련시킴으로써 명령어와 성능 메트릭 간의 복잡한 비선형 관계를 더 잘 포착할 수 있다.
• 이 방법은 다양한 동적 분산 컴퓨팅 환경에서 실행 시간을 예측하는 데 있어 향상된 강인성을 보여준다.
• PREP 구조를 활용해 개별 자원 에이전트의 예측을 조합함으로써 신뢰할 수 있는 종단 간 워크플로우 성능 추정치를 도출할 수 있다.
• 자원 유형별로 모델 훈련과 추론를 분리함으로써 확장 가능하고 유지보수가 용이한 성능 예측이 가능해진다.