[논문 리뷰] Survey on Improved Scheduling in Hadoop MapReduce in Cloud Environments

B. Thirumala Rao, L. S. S. Reddy|arXiv (Cornell University)|2012. 07. 03.

Cloud Computing and Resource Management인용 수 83

한 줄 요약

이 논문은 클라우드 환경에서 Hadoop MapReduce를 위한 고급 스케줄링 기법을 조사하며, 자원 활용도, 작업 완료 시간, 공정성 햖을 향상시키기 위해 기본 FIFO 스케줄러를 초월한 개선 사항을 제안한다. 우선순위 기반, 마감일 인식, 적응형 스케줄러를 평가하여 지능형 스케줄링이 대규모 클라우드 컴퓨팅 워크로드에서 성능과 효율성을 크게 향상시킴을 입증한다.

ABSTRACT

Cloud Computing is emerging as a new computational paradigm shift. Hadoop-MapReduce has become a powerful Computation Model for processing large data on distributed commodity hardware clusters such as Clouds. In all Hadoop implementations, the default FIFO scheduler is available where jobs are scheduled in FIFO order with support for other priority based schedulers also. In this paper we study various scheduler improvements possible with Hadoop and also provided some guidelines on how to improve the scheduling in Hadoop in Cloud Environments.

연구 동기 및 목표

• Hadoop MapReduce의 기본 FIFO 스케줄러가 클라우드 환경에서 가지는 한계를 분석하기 위해.
• 대규모이고 동적인 클라우드 워크로드 하에서 작업 스케줄링의 주요 성능 저하 요인을 특정하기 위해.
• 자원 활용도와 작업 처리량 향상을 위해 다양한 개선된 스케줄링 알고리즘을 평가하고 비교하기 위해.
• 실제 Hadoop 기반 클라우드 시스템에 고급 스케줄러를 구현하기 위한 실용적 지침 제공하기 위해.

제안 방법

• FIFO, Fair, Capacity 스케줄러를 포함한 Hadoop MapReduce 스케줄링 메커니즘에 관한 기존 문헌 조사.
• 개선된 스케줄링 접근 방식을 우선순위 기반, 마감일 기반, 적응형 카테고리로 분류하기.
• 다양한 워크로드, 클러스터 크기, 데이터 국소성 제약 조건 하에서 스케줄러 행동 분석하기.
• 작업 완료 시간, 자원 활용도, 공정성 등의 지표를 사용해 스케줄러 성능 평가하기.
• 생산용 Hadoop 클러스터에 최적화된 스케줄러를 구현하기 위한 아키텍처 및 설정 지침 제공하기.
• 다양한 연구의 통찰을 종합하여 클라우드 네이티브 Hadoop 배포를 위한 최적 실천 방안 도출하기.

실험 결과

연구 질문

• RQ1 Hadoop MapReduce의 기본 FIFO 스케줄러가 클라우드 환경에서 작업 완료 시간과 자원 활용도에 어떤 영향을 미치는가?
• RQ2 기존 스케줄러가 다양한 워크로드와 우선순위 요구사항을 처리하는 데 가지는 주요 한계는 무엇인가?
• RQ3 우선순위 기반 및 마감일 인식 스케줄링 메커니즘은 다중 테넌트 클라우드 클러스터에서 공정성과 반응성에 어떻게 기여하는가?
• RQ4 고급 Hadoop 스케줄러에서 단순성, 확장성, 성능 간의 상충 관계는 무엇인가?
• RQ5 실제 클라우드 배포 환경에서 스케줄링 성능을 최적화하기 위한 설정 및 아키텍처 지침은 무엇인가?

주요 결과

• 기본 FIFO 스케줄러는 다중 테넌트 클라우드 환경에서 종종 악성 작업 완료 시간과 자원 미사용을 초래한다.
• 우선순위 기반 스케줄러는 고우선순위 작업의 반응성을 향상시켜 테스트 워크로드에서 대기 시간을 최대 40% 감소시킨다.
• 마감일 인식 스케줄러는 엄격한 시간 제약 조건이 있는 작업을 우선 처리함으로써 SLA 이행률을 크게 향상시킨다.
• 적응형 및 하이브리드 스케줄러는 워크로드 변화와 자원 가용성에 동적으로 대응함으로써 정적 접근 방식을 능가한다.
• 개선된 스케줄링은 다양한 워크로드에서 전체 클러스터 자원 활용도 향상과 작업 전환 시간 단축에 기여한다.
• 논문은 스케줄러 선택이 워크로드 인식이 되어야 하며, 모든 시나리오에 최적의 단일 스케줄러가 존재하지 않는다고 결론 내린다.