[논문 리뷰] A Data-Driven Approach to Dynamically Adjust Resource Allocation for Compute Clusters

Francesco Pace, Dimitrios Milios외 3명|ArXiv.org|2018. 07. 01.

Cloud Computing and Resource Management참고 문헌 30인용 수 4

한 줄 요약

이 논문은 가우시안 프로세스 회귀를 사용해 응용 프로그램의 자원 사용량을 예측하고 실시간으로 할당을 조정함으로써 자원의 낭비를 줄이는 데이터 기반의 동적 자원 할당 메커니즘을 제안한다. 예측 불확실성과 보수적인 프리에임션 정책을 통합함으로써, 응용 프로그램 장애 없이 평균 전환 시간을 50% 이상 단축시키고 자원 낭비를 약 40% 감소시켰으며, 이는 클러스터의 효율성과 반응성 향상에 크게 기여한다.

ABSTRACT

Nowadays, data-centers are largely under-utilized because resource allocation is based on reservation mechanisms which ignore actual resource utilization. Indeed, it is common to reserve resources for peak demand, which may occur only for a small portion of the application life time. As a consequence, cluster resources often go under-utilized. In this work, we propose a mechanism that improves cluster utilization, thus decreasing the average turnaround time, while preventing application failures due to contention in accessing finite resources such as RAM. Our approach monitors resource utilization and employs a data-driven approach to resource demand forecasting, featuring quantification of uncertainty in the predictions. Using demand forecast and its confidence, our mechanism modulates cluster resources assigned to running applications, and reduces the turnaround time by more than one order of magnitude while keeping application failures under control. Thus, tenants enjoy a responsive system and providers benefit from an efficient cluster utilization.

연구 동기 및 목표

• 클라우드 클러스터에서 정적 예약 기반 할당으로 인한 데이터센터 자원의 광범위한 저활용 문제를 해결하기 위해.
• 할당된 자원과 실제 사용량 간 격차로 정의되는 자원 낭비를 줄이되, 응용 프로그램 실패 위험을 증가시키지 않기 위해.
• 실시간 수요 예측 기반으로 자원 할당을 동적으로 조정함으로써 시스템의 반응성과 클러스터 활용도를 향상시키기 위해.
• 예측 불확실성을 체계적 안전성과 균형을 이루는 메커니즘을 설계하여 RAM과 같은 비공유 자원 부족으로 인한 실패를 방지하기 위해.
• Apache Spark 및 TensorFlow 응용 프로그램의 대표적 워크로드를 사용해 실제 테스트베드에서 접근 방식을 검증하기 위해.

제안 방법

• 시간에 따라 응용 프로그램 자원 사용량(CPU, RAM)을 모델링하고 예측하기 위해 가우시안 프로세스(GP) 회귀를 사용하며, 시간적 동적 특성과 불확실성을 포착한다.
• 할당 조정을 안전하게 이끌어내기 위해 예측 신뢰구간을 통합하여 부족 자원 제공 위험을 방지하는 안전 마진을 확보한다.
• 안전한 경우에만 자원을 재할당하는 보수적인 프리에임션 정책을 적용하여 동적 조정 중 실패 위험을 최소화한다.
• 클러스터 노드 전반의 실시간 자원 사용량을 모니터링하고 응용 프로그램 동작과 연관지어 예측 모델을 훈련 및 업데이트한다.
• 통제된 실험에서 정적 예약 기반 할당과 동적 조정을 비교하기 위해 FIFO 스케줄러와 통합한다.
• 10台 서버와 실제 워크로드(Spark 및 TensorFlow)를 사용한 테스트베드를 구축하여 현실적인 조건에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 공유 클러스터에서 안전한 동적 할당을 가능하게 하기 위해 자원 활용 예측을 얼마나 정확하고 불확실성 인식 가능하게 만들 수 있는가?
• RQ2 정적 예약 기반 할당과 비교했을 때 동적 자원 조정이 클러스터의 전환 시간과 자원 낭비에 어떤 영향을 미치는가?
• RQ3 특히 RAM과 같은 비공유 자원에 대해 응용 프로그램 실패를 방지하기 위해 예측 오차는 어떻게 완화할 수 있는가?
• RQ4 동적 할당 시스템에서 반응성과 신뢰성을 가장 잘 균형 잡는 프리에임션 전략은 무엇인가?
• RQ5 동적 할당은 실패율을 증가시키지 않으면서 클러스터 활용도를 얼마나 향상시킬 수 있는가?

주요 결과

• 동적 할당 메커니즘이 기준 정적 예약 시스템 대비 자원 낭비를 약 40% 감소시켰다.
• 큐잉 시간이 단축되고 자원 할당이 더 민감하게 반응함으로써 응용 프로그램의 중앙값 전환 시간이 약 50% 감소했다.
• 보수적인 프리에임션 정책을 사용함으로써 고부하 상황에서도 모든 실험에서 응용 프로그램 또는 구성 요소의 장애가 발생하지 않았다.
• 불확실성 인식 예측을 통해 안전하고 적극적인 자원 조정이 가능해져 낭비되는 용량을 최소화하면서도 신뢰성을 손상시키지 않았다.
• 탄력적 및 강성 있는 응용 프로그램의 혼합 워크로드를 처리하는 데 특히 뛰어난 시스템 반응성과 효율성 향상을 보였다.
• 실제 테스트베드와 실제 워크로드를 통해 결과가 검증되었으며, 제안된 메커니즘의 확장성과 견고성을 확인했다.