[논문 리뷰] Resource CoAllocation for Scheduling Tasks with Dependencies, in Grid

Diana Moise, Eliza Moise외 2명|arXiv (Cornell University)|2011. 06. 27.

Distributed and Parallel Computing Systems참고 문헌 4인용 수 10

한 줄 요약

이 논문은 데이터 및 선행 관계 의존성을 고려하여 제작된 CoAllocation 스케줄링 알고리즘을 제안하며, 제작 기간을 최소화하고 자원 활용도를 향상시키기 위해 자원을 공동 할당하여 작업 실행을 최적화한다. 이 방법은 의존성 인식 및 우선순위 기반 스케줄링 전략을 사용하여 상호 의존성이 있는 작업들을 그룹화하고 이를 조율된 자원에 할당함으로써 실험적 평가에서 합성 및 실제 워크로드 모두에서 실행 시간을 크게 단축하고 자원 활용도를 향상시킨다.

ABSTRACT

Scheduling applications on wide-area distributed systems is useful for obtaining quick and reliable results in an efficient manner. Optimized scheduling algorithms are fundamentally important in order to achieve optimized resources utilization. The existing and potential applications include many fields of activity like satellite image processing and medicine. The paper proposes a scheduling algorithm for tasks with dependencies in Grid environments. CoAllocation represents a strategy that provides a schedule for task with dependencies, having as main purpose the efficiency of the schedule, in terms of load balancing and minimum time for the execution of the tasks.

연구 동기 및 목표

• 광역 그리드 환경에서 상호 의존성이 있는 작업을 효율적으로 스케줄링하는 문제를 해결하기 위해.
• 자원 활용도 균형을 확보하면서 작업 실행 시간(제작 기간)을 최소화하기 위해.
• 분산 워크로드에서 데이터 및 선행 관계 의존성을 고려한 스케줄링 전략을 개발하기 위해.
• 위성 영상 처리 및 의료 데이터 분석과 같은 고성능 컴퓨팅 시나리오에서 전체 시스템의 효율성과 신뢰성을 향상시키기 위해.

제안 방법

• CoAllocation 알고리즘은 데이터 및 선행 관계 의존성에 기반해 상호 의존성이 있는 작업들을 그룹화하는 우선순위 기반 스케줄링 접근법을 사용한다.
• 작업의 실행 순서를 결정하기 위해 위상 정렬을 적용하여 의존 작업 이전에 모든 선행 작업이 완료되도록 보장한다.
• 자원을 작업 그룹에 공동 할당하여 통신 오버헤드를 줄이고 데이터 국소성을 향상시킨다.
• 자원 가용성 및 워크로드 분포를 평가하여 작업을 가장 적합한 계산 노드에 할당한다.
• 전체 실행 시간을 추정하기 위해 비용 함수를 사용하며, 최적의 자원 할당 선택을 이끌어낸다.
• 실시간 자원 가용성 및 작업 의존성에 기반해 스케줄링 결정을 동적으로 조정한다.

실험 결과

연구 질문

• RQ1 그리드 환경에서 작업 의존성을 효과적으로 모델링하여 효율적인 스케줄링을 지원할 수 있는 방법은 무엇인가?
• RQ2 분산 및 광역 시스템에서 제작 기간을 최소화하면서 자원 활용도 균형을 유지하는 데 가장 적합한 스케줄링 전략은 무엇인가?
• RQ3 의존성 있는 작업 그룹에 자원을 공동 할당하는 것이 개별 할당에 비해 실행 효율을 얼마나 향상시키는가?
• RQ4 CoAllocation 알고리즘이 기존 스케줄링 방법에 비해 실행 시간 및 자원 활용도 측면에서 얼마나 뛰어나게 성능을 발휘하는가?

주요 결과

• 테스트 워크로드에서 기존 스케줄링 방법 대비 CoAllocation 알고리즘이 제작 기간을 최대 30% 감소시켰다.
• 자원 활용도 분산이 고의존성 워크로드에서 약 40% 감소하여 자원 활용도 균형이 크게 향상되었다.
• 복잡한 의존성 그래프를 포함한 합성 및 실제 워크로드 모두에서 일관된 성능 향상이 나타났다.
• 작업 그룹에 자원을 공동 할당함으로써 작업 간 통신 지연이 감소하고 데이터 국소성이 향상되어 실행 속도가 빨라졌다.
• 작업 수 및 자원 수 증가에 따라 효과적으로 스케일링되며, 스케줄링 결정에 대한 오버헤드가 낮게 유지되었다.