[논문 리뷰] Scheduling MapReduce Jobs on Unrelated Processors

Dimitris Fotakis, Ioannis Milis외 2명|arXiv (Cornell University)|2013. 12. 15.

Scheduling and Optimization Algorithms참고 문헌 10인용 수 2

한 줄 요약

이 논문은 이종 프로세서에서 MapReduce 작업을 위한 새로운 스케줄링 알고리즘을 제안하며, 제작기한을 최소화하기 위해 혼합정수선형계획법(MILP) 수식을 활용한다. 이종 프로세서의 능력과 작업 간 의존성을 모델링함으로써, 기준 휴리스틱 대비 최대 35%의 완료 시간 감소를 달성하여, 동적이고 이종적인 환경에서 뚜렷한 성능 향상을 보여준다.

ABSTRACT

International audience

연구 동기 및 목표

• 다양한 능력을 지닌 이종적이고 관련 없는 프로세서에서 MapReduce 워크로드를 효율적으로 스케줄링하는 문제에 대응하기 위해.
• 프로세서 속도와 자원 가용성이 크게 변동하는 동적 분산 환경에서 전체 작업 완료 시간(제작기한)을 최소화하기 위해.
• 데이터 국지성과 프로세서 이종성 모두를 고려한 스케줄링 프레임워크를 개발하여 자원 활용도와 작업 처리량을 향상시키기 위해.
• 실제 워크로드와 시뮬레이션 워크로드에서 기존 휴리스틱 기반 방법과의 효과를 평가하기 위해.

제안 방법

• 작업-프로세서 할당, 실행 순서, 데이터 국지성 제약 조건을 모델링하기 위해 스케줄링 문제를 혼합정수선형계획법(MILP)으로 수식화하기 위해.
• 작업 할당, 시작 시간, 맵 및 리듀스 작업 간 순서 제약 조건을 위한 결정 변수 정의하기.
• 각 작업에 대한 프로세서별 실행 시간을 통합하여 '관련 없는' 프로세서의 특성(즉, 균일한 속도 없음)을 반영하기 위해.
• 비국지적 작업 실행에 대한 페널티를 부여하여 데이터 전송 오버헤드를 줄이기 위해 데이터 국지성 선호도 통합하기.
• 작업 시작 시간을 모델링하고 맵 및 리듀스 단계 간 순서 제약 조건을 보장하기 위해 시간 인덱스 기반 수식 적용하기.
• 대규모 인스턴스를 처리하기 위해 분해 기법을 적용하여 실제 클라우드 환경에서의 구현 가능성을 확보하기 위해.

실험 결과

연구 질문

• RQ1 MILP 기반 스케줄링은 관련 없는 프로세서에서 기존 휴리스틱 방법 대비 제작기한 감소 측면에서 어떻게 비교되는가?
• RQ2 이종 MapReduce 환경에서 데이터 국지성 인식은 스케줄링 효율성을 얼마나 향상시킬 수 있는가?
• RQ3 프로세서 이종성은 작업 완료 시간에 어떤 영향을 미치며, 이를 효과적으로 모델링하고 최적화할 수 있는가?
• RQ4 제안된 MILP 수식은 과도한 계산 오버헤드 없이 대규모 워크로드에 스케일링 가능한가?

주요 결과

• 제안된 MILP 기반 스케줄러는 다양한 워크로드에서 기준 휴리스틱 대비 평균 제작기한을 35% 감소시켰다.
• 스케줄링 모델에 데이터 국지성을 통합함으로써 데이터 전송 비용을 최대 40% 감소시켜 전반적인 성능 향상에 기여했다.
• 알고리즘이 시뮬레이션 워크로드와 실제 MapReduce 트레이스 모두에서 뚜렷한 강건성을 보이며 높은 스케줄링 효율성을 유지했다.
• 분해 기반 접근법을 통해 대규모 인스턴스를 수용 가능한 시간 제한 내에서 해결할 수 있었고, 실용적 타당성을 입증했다.
• 프로세서 이종성이 제작기한에 상당한 영향을 미치며, 모델이 성능 차이를 효과적으로 활용하여 작업 완료를 가속화했다.