[논문 리뷰] C3O: Collaborative Cluster Configuration Optimization for Distributed Data Processing in Public Clouds

Jonathan Will, Lauritz Thamsen외 3명|arXiv (Cornell University)|2021. 07. 28.

Cloud Computing and Resource Management참고 문헌 24인용 수 17

한 줄 요약

C3O는 다양한 사용자로부터의 공유된 역학적 실행 데이터를 활용하여 공공 클라우드 환경에서 분산 데이터 처리를 위한 클러스터 구성 최적화를 수행하는 협업 런타임 예측 시스템이다. 전 세계적으로 분布된 작업 메트릭스를 기반으로 한 맥락 인식 회귀 모델을 사용하여 930개의 Spark 작업에서 평균 절대 오차가 3% 미만으로 예측 성능을 달성하며, 단일 사용자 접근 방식보다 뚜렷이 뛰어나다.

ABSTRACT

Distributed dataflow systems enable data-parallel processing of large datasets on clusters. Public cloud providers offer a large variety and quantity of resources that can be used for such clusters. Yet, selecting appropriate cloud resources for dataflow jobs - that neither lead to bottlenecks nor to low resource utilization - is often challenging, even for expert users such as data engineers. We present C3O, a collaborative system for optimizing data processing cluster configurations in public clouds based on shared historical runtime data. The shared data is utilized for predicting the runtimes of data processing jobs on different possible cluster configurations, using specialized regression models. These models take the diverse execution contexts of different users into account and exhibit mean absolute errors below 3% in our experimental evaluation with 930 unique Spark jobs.

연구 동기 및 목표

• 분산 데이터 처리 작업에 최적의 클라우드 리소스를 선택하는 데 있어 높은 프로비저닝 비용이나 프ofile링 오버헤드를 유발하지 않도록 하는 것.
• 다양한 실행 환경에서의 역사적 런타임 데이터를 공유하여 사용자 간 협업 기반의 성능 모델링을 가능하게 하는 것.
• 전 세계적으로 수집된 맥락 인식 훈련 데이터를 활용하여 예측 정확도를 향상시키는 런타임 예측 모델을 개발하는 것.
• 불규칙한 데이터 처리 워크로드에 적합한 공공 클라우드 환경에서 자원 과다 할당을 줄이고 비용 효율성을 높이는 것.

제안 방법

• C3O는 다양한 실행 환경(예: 다른 데이터 크기, 클러스터 구성, 워크로드 등)에서 사용자로부터 이전 런타임 메트릭스(예: 작업 지속 시간, 리소스 사용량)를 수집하고 공유한다.
• 특정 상황에서의 예측 정확도를 고려해 동적으로 여러 회귀 모델 중 하나를 선택하는 블랙박스 런타임 예측 모델을 사용한다.
• 다양한 구성 환경에 걸쳐 강건성을 확보하기 위해 가용한 훈련 데이터에서 가장 유망한 모델을 선택하기 위해 교차 검증을 활용한다.
• 예측기는 930개의 고유한 Spark 작업에서 수집된 공유 데이터를 기반으로 훈련되며, 데이터 크기, 파artitions 수, 하드웨어 특성 등의 맥락 특징을 포함한다.
• 협업 모드와 단일 사용자 모드를 모두 지원하여, 가용한 전 세계 데이터를 활용할 수 있을 땐 글로벌 데이터를 활용하고, 필요에 따라 로컬 데이터로 대체할 수 있도록 한다.
• 런타임 시 동적 모델 전환 기능을 제공하여 새로운 구성에 적응하고 예측 오차를 최소화한다.

실험 결과

연구 질문

• RQ1 다양한 사용자로부터의 공유된 역사적 런타임 데이터는 공공 클라우드에서 분산 데이터 처리 작업의 런타임 예측 정확도를 향상시킬 수 있는가?
• RQ2 로컬 데이터만으로 훈련된 단일 사용자 모델과 비교해 협업 기반의 런타임 예측 모델은 어떤 성능을 보이는가?
• RQ3 맥락 인식 회귀 모델은 클러스터 구성 최적화에서 예측 오차를 어느 정도 줄일 수 있는가?
• RQ4 교차 검증 및 모델 선택 전략은 이질적인 실행 환경에서 예측 정확도에 어떤 영향을 미치는가?

주요 결과

• C3O 예측기는 930개의 고유한 Spark 작업에서 평균 절대 오차가 3% 미만으로, 매우 높은 정확도를 보였다.
• 글로벌로 공유된 데이터를 활용한 협업 훈련은 로컬 데이터만으로 훈련된 모델에 비해 예측 정확도가 뚜렷이 향상됨을 보였다.
• 로컬 데이터가 제한적인 상황에서도 높은 성능을 유지하여, 초기 단계부터 글로벌 데이터가 예측 신뢰도를 향상시킨다는 점을 입증했다.
• 교차 검증 기반의 모델 선택 전략은 특정 구성과 맥락에 가장 정확한 회귀 모델을 효과적으로 식별했다.
• 비용이 많이 드는 프ofile링 실행과 과다 할당의 필요성을 줄여주며, 특히 클러스터 프로비저닝 시간이 긴 클라우드 환경에서 매우 유용하다.
• 협업 및 비협업 사용 케이스 모두에 효과적이며, 공유 데이터 접근이 가능한 기관과 그렇지 않은 기관 모두에 적합하다.