[논문 리뷰] Affinity Scheduling and the Applications on Data Center Scheduling with Data Locality

Mohammadamir Kavousi|arXiv (Cornell University)|2017. 05. 09.

Cloud Computing and Resource Management참고 문헌 2인용 수 4

한 줄 요약

이 논문은 로컬, 랙로컬, 원격의 세 가지 수준의 데이터 로컬리티를 가진 데이터 센터를 위한 가중 작업량 라우팅 및 우선순위 스케줄링 알고리즘을 제안하며, 이는 스루풋과 고부하 최적성 모두를 보장한다. 이 알고리즘이 용량 영역 내의 모든 도착률 조건에서 시스템을 안정화시키고 고부하 조건에서 평균 작업 완료 시간을 최소화함으로써 기존 히우리스틱 기반 접근 방식인 Delay Scheduling 및 Quincy보다 뛰어난 성능을 보임을 증명한다.

ABSTRACT

MapReduce framework is the de facto standard in Hadoop. Considering the data locality in data centers, the load balancing problem of map tasks is a special case of affinity scheduling problem. There is a huge body of work on affinity scheduling, proposing heuristic algorithms which try to increase data locality in data centers like Delay Scheduling and Quincy. However, not enough attention has been put on theoretical guarantees on throughput and delay optimality of such algorithms. In this work, we present and compare different algorithms and discuss their shortcoming and strengths. To the best of our knowledge, most data centers are using static load balancing algorithms which are not efficient in any ways and results in wasting the resources and causing unnecessary delays for users.

연구 동기 및 목표

• 데이터 센터에서 사용되는 기존 히우리스틱 기반 데이터 로컬리티 스케줄링 알고리즘의 이론적 보장 부족 문제를 해결하기 위해.
• 스루풋과 지연 최적성 측면에서 로컬, 랙로컬, 원격의 다수 수준의 데이터 로컬리티를 가진 시스템에 대한 실시간 스케줄링 알고리즘을 분석하고 비교하기 위해.
• 시스템 안정성(스루풋 최적성)을 보장하고 고부하 조건에서 평균 작업 완료 시간을 최소화하는 스케줄링 알고리즘을 설계하기 위해.
• 리아푸노프 드리프트 및 플루이드 모델 분석을 통해 제안된 알고리즘의 최적성 성질을 공식적으로 증명하기 위해.
• 기존 알고리즘들이 세 수준의 데이터 로컬리티 환경에서 최적성을 유지하지 못하는 이유를 밝히기 위해.

제안 방법

• M대의 서버가 K개의 랙으로 그룹화된 이산 시간 큐잉 모델을 사용하며, 각 작업 유형은 세 대의 서버에 저장된 데이터 조각에 대응한다.
• 서비스 시간을 기하분포로 모델링한다: 로컬(_geo(α)_), 랙로컬(_geo(β)_), 원격(_geo(γ)_), 여기서 α > β > γ이다.
• 각 서버의 가중 작업량을 Wₘ(t) = Qₘˡ(t)/α + Qₘᵏ(t)/β + Qₘʳ(t)/γ로 정의하며, 대기 중인 작업의 예상 서비스 지연을 나타낸다.
• 가중 작업량 라우팅을 구현: 신규 작업은 데이터 로컬리티 수준을 고려해 가중 작업량이 가장 작은 서버에 배치된다.
• 우선순위 스케줄링을 적용: 비어 있는 서버는 먼저 로컬 작업을 처리하고, 그 다음 랙로컬, 그 다음 원격 작업을 처리하여 로컬리티 우선 순서를 보장한다.
• 스루풋 최적성을 입증하기 위해 리아푸노프 함수 V(t) = Σₘ (Wₘ(t))²를 사용하며, 포스터-리아푸노프 안정성 정리에 기반한다.

실험 결과

연구 질문

• RQ1 세 수준의 데이터 로컬리티를 가진 데이터 센터에서 스케줄링 알고리즘이 스루풋 최적성과 고부하 최적성을 동시에 달성할 수 있는가?
• RQ2 Delay Scheduling 및 Quincy와 같은 기존 히우리스틱 알고리즘은 이론적 최적성 보장 측면에서 어떻게 성능을 내는가?
• RQ3 Pandas 및 JSQ-MaxWeight와 같은 이중 수준 데이터 로컬리티 알고리즘은 왜 세 수준 환경에서는 최적성을 유지하지 못하는가?
• RQ4 가중 작업량 라우팅 및 우선순위 스케줄링 알고리즘이 고부하 최적성이 되는 조건은 무엇인가?
• RQ5 모든 부하 영역에서 안정성과 최소 지연을 보장하는 통합 스케줄링 프레임워크를 설계할 수 있는가?

주요 결과

• 가중 작업량 라우팅 및 우선순위 스케줄링 알고리즘이 용량 영역 내의 모든 도착률 벡터에서 스루풋 최적성임을 증명하였다.
• β² > αγ 조건을 만족할 경우, 시스템이 용량에 가까워질수록 평균 작업 완료 시간을 최소화하는 고부하 최적성 달성함을 입증하였다.
• 확장된 JSQ-MaxWeight 알고리즘은 스루풋 최적성은 보장하지만, 모든 트래픽 상황에서 고부하 최적성은 확보하지 못한다.
• 이중 수준 데이터 로컬리티에서 최적성을 보였던 Pandas 알고리즘은 세 수준 설정에서는 스루풋 최적성이 아님을 입증하였다.
• Delay Scheduling 및 Quincy와 같은 기존 히우리스틱 알고리즘들은 스루풋 및 지연 최적성에 대한 이론적 보장이 부족함을 확인하였다.
• 제안된 알고리즘은 고부하 조건에서 안정성과 최소 지연을 모두 보장함으로써 이전 방법보다 뛰어난 성능을 보였다.