[논문 리뷰] Intelligent strategies for DAG scheduling optimization in Grid environments

Florin Pop, Valentin Cristea|arXiv (Cornell University)|2011. 06. 27.

Distributed and Parallel Computing Systems참고 문헌 8인용 수 5

한 줄 요약

이 논문은 그리드 환경에서 방향 비순환 그래프(DAG) 작업 스케줄링을 최적화하기 위한 분산형, 장애 내성 히우리스틱 및 유전 알고리즘 기반 스케줄러를 제안한다. 작업 의존성 해결을 위한 히우리스틱 모델과 자원 할당을 위한 유전 알고리즘을 조합함으로써, 실행 비용과 효율성 측면에서 기존 방법에 비해 뚜렷한 성능 향상을 달성하였으며, 이는 MonALISA 모니터링 프레임워크를 활용한 검증을 통해 입증되었다.

ABSTRACT

The paper presents a solution to the dynamic DAG scheduling problem in Grid environments. It presents a distributed, scalable, efficient and fault-tolerant algorithm for optimizing tasks assignment. The scheduler algorithm for tasks with dependencies uses a heuristic model to optimize the total cost of tasks execution. Also, a method based on genetic algorithms is proposed to optimize the procedure of resources assignment. The experiments used the MonALISA monitoring environment and its extensions. The results demonstrate very good behavior in comparison with other scheduling approaches for this kind of DAG scheduling algorithms.

연구 동기 및 목표

• 대규모 그리드 환경에서 높은 작업 의존성 복잡도를 가지는 동적 DAG 스케줄링 문제를 해결하기 위해.
• 지능적인 자원 할당 및 작업 스케줄링을 통해 총 작업 실행 비용을 감소시키기 위해.
• 이질적인 그리드 인프라처에 적합한 확장성 있고, 장애 내성적이며 분산된 스케줄링 알고리즘을 개발하기 위해.
• 작업 순서 최적화 및 자원 매핑을 통해 스케줄링 효율성과 실행 시간을 향상시키기 위해.
• 실제 모니터링 데이터를 활용하여 제안된 접근법을 기존 스케줄링 전략과 비교 평가하기 위해.

제안 방법

• 실행 비용과 전행 제약 조건을 기반으로 작업 의존성을 기반으로 우선순위를 정하고 DAG 내에서 작업을 스케줄링하기 위해 히우리스틱 모델을 사용한다.
• 전체 실행 비용을 최소화하기 위해 유전 알고리즘을 적용하여 작업을 가용한 그리드 자원에 할당한다.
• 스케줄러는 분산 방식으로 작동하여 다수의 노드에서 확장성과 장애 내성을 보장한다.
• 실시간 성능 데이터 수집 및 피드백 및 최적화를 위해 모니터링 환경인 MonALISA와 통합된다.
• 작업 실행 비용은 자원 가용성, 처리 능력 및 데이터 전송 오버헤드의 함수로 모델링된다.
• 알고리즘은 런타임 중 자원 가용성 및 워크로드 조건의 변화에 동적으로 대응한다.

실험 결과

연구 질문

• RQ1 어떻게 하면 동적 그리드 환경에서 DAG의 작업 의존성을 효율적으로 스케줄링하여 실행 비용을 최소화할 수 있는가?
• RQ2 기존의 히우리스틱 방법에 비해 유전 알고리즘이 DAG 스케줄링에서 자원 할당을 얼마나 향상시킬 수 있는가?
• RQ3 분산형이고 장애 내성적인 스케줄러는 다양한 워크로드 및 자원 가용성 조건에서도 높은 성능을 유지할 수 있는가?
• RQ4 실세계 그리드 모니터링 시나리오에서 제안된 접근법은 기존의 DAG 스케줄링 알고리즘에 비해 성능 면에서 어떻게 비교되는가?
• RQ5 히우리스틱 작업 순서 정렬과 유전 최적화가 총 스케줄링 효율성과 비용에 미치는 영향은 무엇인가?

주요 결과

• 제안된 스케줄러는 기존의 스케줄링 접근 방식에 비해 실행 비용 절감 측면에서 뚜렷한 성능 향상을 보였다.
• 유전 알고리즘과 히우리스틱 작업 스케줄링의 통합은 더 최적의 자원 할당과 단축된 메이크스팬을 이끌어냈다.
• 분산 아키텍처는 확장성과 장애 내성을 보장하여 동적 워크로드 변화 상황에서도 안정성을 유지했다.
• MonALISA 모니터링 환경을 활용한 실험 결과는 알고리즘이 실제 그리드 환경에서 뛰어난 강건성과 효율성을 보임을 확인했다.
• 이질적인 환경에서도 높은 처리량과 반응성 유지와 함께 총 실행 비용을 낮추는 데 성공했다.
• 실행 시간과 자원 활용 효율성 측면에서 기준 스케줄링 전략에 비해 본 방법이 뛰어난 성능을 보였다.