[논문 리뷰] A Simulator for Data-Intensive Job Scheduling

Matteo Dell’Amico|arXiv (Cornell University)|2013. 06. 25.

Cloud Computing and Resource Management참고 문헌 15인용 수 7

한 줄 요약

이 논문은 작업 크기가 정확히 알려지지 않은 데이터 집약적 배치 시스템에서 크기 기반 작업 스케줄러의 시뮬레이션 기반 평가를 제안한다. 심각한 추정 오차(σ=1인 로그정규분포)가 존재함에도 불구하고 FSP+PS 스케줄러는 FIFO 및 공정 분배 방식을 계속해서 능가하며 평균 체류 시간을 수개월 정도 감소시키고, 부정확한 크기 예측에 대해 매우 강건함을 보였다.

ABSTRACT

Despite the fact that size-based schedulers can give excellent results in terms of both average response times and fairness, data-intensive computing execution engines generally do not employ size-based schedulers, mainly because of the fact that job size is not known a priori. In this work, we perform a simulation-based analysis of the performance of size-based schedulers when they are employed with the workload of typical data-intensive schedules and with approximated size estimations. We show results that are very promising: even when size estimation is very imprecise, response times of size-based schedulers can be definitely smaller than those of simple scheduling techniques such as processor sharing or FIFO.

연구 동기 및 목표

• 작업 크기가 사전에 알려지지 않은 데이터 집약적 배치 워크로드에서 크기 기반 스케줄러의 타당성과 성능을 평가하기 위해.
• 크기 예측 오차가 평균 체류 시간과 공정성 측면에서 스케줄링 성능에 미치는 영향을 평가하기 위해.
• 실제 워크로드 트레이스와 예측 불확실성 하에서 FIFO, 프로세서 공유(PS), FSP, 하이브리드 FSP+PS와 같은 다양한 스케줄링 전략의 효과성을 비교하기 위해.
• 시뮬레이션 결과를 바탕으로 실세계 구현을 안내하기 위해 HFSP Hadoop 스케줄러 설계를 뒷받침하는 실증적 증거를 제공하기 위해.
• 시스템 부하와 작업 크기 분포를 제어하는 d/n 파라미터에 따른 스케줄링 성능 민감도를 분석하기 위해.

제안 방법

• 저자는 numpy와 matplotlib를 사용한 맞춤형 파이썬 기반 시뮬레이터를 개발하여, 스케줄링 논리에 집중하기 위해 저수준 실행 엔진 세부 사항을 추상화하였다.
• 작업은 (도착 시간, 실행 시간) 쌍으로 모델링되며, 실행 시간은 실제 Hadoop 워크로드 트레이스(FB09-0, FB09-1, FB10)에서 추출된다.
• 크기 예측 오차는 로그정규분포를 사용해 모델링되며: 추정 크기 ŝ = sX, 여기서 X ~ Log-N(0, σ²)이며, 이는 제어 가능한 오차 수준을 가능하게 한다.
• 시뮬레이터에는 표준 스케줄러(FIFO, 프로세서 공유(PS), 나머지 실행 시간이 가장 짧은 작업 우선(SRPT), 공정한 크기 기반 정책(FSP))와 함께 FSP+PS 및 FSP+FIFO와 같은 하이브리드 변종이 구현되어 있다.
• 성능 평가는 평균 체류 시간(제출부터 완료까지의 시간)을 사용하며, 안정성을 확보하기 위해 다수의 시뮬레이션 런에 걸쳐 평균화된다.
• 시뮬레이션은 시스템 부하(l), 예측 오차(σ), 그리고 작업 크기 분포의 비대칭도를 제어하는 d/n 파라미터의 세 가지 핵심 시스템 파라미터를 평가한다.

실험 결과

연구 질문

• RQ1 작업 크기가 정확히 알려지지 않은 현실적인 데이터 집약적 워크로드에서 크기 기반 스케줄러는 어떻게 성능을 발휘하는가?
• RQ2 크기 예측 오차(로그정규분포로 모델링)는 배치 작업 스케줄링에서 평균 체류 시간과 공정성에 어떤 영향을 미치는가?
• RQ3 FSP+PS 스케줄러는 응답 시간과 예측 오차에 대한 강건성 측면에서 FIFO, PS, FSP+FIFO와 비교해 어떻게 다른가?
• RQ4 시스템 부하가 크기 기반과 비크기 기반 스케줄러 간 성능 격차에 어떤 영향을 미치는가?
• RQ5 작업 크기 분포의 형태를 제어하는 d/n 파라미터에 따른 스케줄링 성능 민감도는 어떠한가?

주요 결과

• σ=1인 높은 예측 오차가 존재하는 상황에서도(예측 오류가 2배 이상인 경우 50퍼센트 이상), FSP+PS 스케줄러는 FIFO 대비 평균 체류 시간을 수개월 정도 감소시키며 일관되게 뛰어난 성능을 보였다.
• FSP+PS는 세 가지 Hadoop 트레이스(FB09-0, FB09-1, FB10) 전반에서 PS 및 FIFO를 뚜렷이 능가했으며, 특히 고부하 및 높은 예측 오차 조건에서 두드러진 성능 향상을 보였다.
• FSP+FIFO 스케줄러는 심각한 과소추정으로 인해 장기 작업이 너무 이르게 스케줄링되어 진행이 차단되는 경우가 발생함에 따라 높은 변동성과 종종 극단적인 성능 이상 현상을 보였다.
• 예측 오차가 없는 조건에서는 FSP와 SRPT가 거의 동일한 성능을 보였으며, 이는 FSP의 공정성 보장이 평균 체류 시간에 거의 영향을 주지 않는다는 것을 확인한다.
• 시스템 부하가 1.0을 초과할수록 스케줄러 간 성능 격차가 줄어들며, 극도로 혼잡한 환경에서는 크기 기반 정책의 성능 향상 효과가 감소함을 시사한다.
• d/n 파라미터는 전체 성능에 미미한 영향을 미치며, 이는 작업 크기 분포의 비대칭성 변화에 대해 스케줄링 결과가 강건함을 나타낸다.