[논문 리뷰] Characterizing Co-located Datacenter Workloads: An Alibaba Case Study

Yue Cheng, Zheng Chai외 1명|arXiv (Cornell University)|2018. 08. 08.

Cloud Computing and Resource Management참고 문헌 35인용 수 4

한 줄 요약

이 논문은 알리바바의 공개된 공동 배치 데이터센터 워크로드 트레이스를 분석하여, 1,313台의 머신을 통해 장기 실행형 컨테이너 기반 생산 작업과 일시적 배치 작업 간의 상호작용을 규명한다. 지속적인 문제들인 스트래글러 및 자원 과도 확보를 드러내며, 고도의 활용도 하에서 성능 간섭이 발생하고, 이질적인 클러스터에서 공동 배치를 최적화하기 위해 더 조율된 글로벌 스케줄러가 필요하다는 점을 강조한다.

ABSTRACT

Warehouse-scale cloud datacenters co-locate workloads with different and often complementary characteristics for improved resource utilization. To better understand the challenges in managing such intricate, heterogeneous workloads while providing quality-assured resource orchestration and user experience, we analyze Alibaba's co-located workload trace, the first publicly available dataset with precise information about the category of each job. Two types of workload---long-running, user-facing, containerized production jobs, and transient, highly dynamic, non-containerized, and non-production batch jobs---are running on a shared cluster of 1313 machines. Our multifaceted analysis reveals insights that we believe are useful for system designers and IT practitioners working on cluster management systems.

연구 동기 및 목표

• 실제 웨어하우스 스케일 데이터센터에서 장기 실행형 컨테이너 기반 작업과 일시적 배치 작업 간의 복잡한 상호작용과 자원 동적 특성을 이해하기 위해.
• 공동 배치 환경에서 지속적인 과제인 스트래글러 행동과 자원 예측의 부정확성과 같은 문제를 특정하기 위해.
• 고도의 활용도와 워크로드 이질성로 인한 자원 경쟁과 성능 간섭의 영향을 평가하기 위해.
• 기존 스케줄러(Sigma 및 Fuxi)가 공동 배치 워크로드를 관리하는 데서의 효과성과 조율 부족을 평가하기 위해.
• 효율적이고 공동 배치 최적화된 클러스터 관리를 위한 아키텍처적 개선 사항을 시스템 설계자 및 IT 전문가들에게 통보하기 위해.

제안 방법

• 1,313대의 머신에 대해 정확한 작업 카테고리 레이블이 포함된 알리바바의 생산 클러스터에서의 24시간 공개 트레이스를 분석한다.
• 자원 사용 및 활용도 패턴을 비교하기 위해 클러스터를 '배치 전용' 및 '공동 배치' 영역으로 분할한다.
• 다양한 자원 사용 범위에서 CPU 및 메모리 활용도, CPI, MPKI를 측정하여 성능 간섭을 탐지한다.
• 자원 요청, 예약, 실제 사용 패턴을 분석하여 과도 예약, 과도 프로비저닝, 과도 확보 행동을 식별한다.
• 워크로드의 동적 특성, 스트래글러 빈도, 장기 실행형 및 배치 워크로드 간의 간섭을 평가한다.
• 글로벌 Level-0 컨트롤러가 공동 배치 워크로드로 인한 자원 이질성을 폭 드러내어 스케줄러 간의 조율을 이끌어야 한다고 제안한다.

실험 결과

연구 질문

• RQ1 장기 실행형 컨테이너 기반 작업과 일시적 배치 작업 간의 자원 사용 패턴은 공동 배치 클러스터에서 어떻게 다를까?
• RQ2 현대의 공동 배치 데이터센터 환경에서 성능 간섭과 스트래글러 문제는 어느 정도 지속되는가?
• RQ3 '배치 전용' 영역과 '공동 배치' 영역의 자원 활용도는 어떻게 비교되며, 이는 스케줄러의 인지 수준에 대해 어떤 함의를 갖는가?
• RQ4 고도의 CPU 및 메모리 활용도가 CPI 및 MPKI와 같은 성능 지표에 미치는 영향은 어떠한가?
• RQ5 글로벌 컨트롤러는 이중 수준의 클러스터 관리 시스템에서 워크로드 전용 스케줄러 간의 조율을 어떻게 향상시킬 수 있는가?

주요 결과

• 장기 실행형 작업은 더 높은 메모리 집약도를 보이며, 이는 전체 클러스터의 메모리 활용도가 CPU 활용도를 초과하게 만든다.
• 장기 실행형 작업에 대한 과도 프로비저닝은 배치 작업이 사용하지 않는 자원을 탄력적으로 과도 확보할 수 있는 중요한 기회를 제공한다.
• 스케줄링 기술의 발전에도 불구하고 스트래글러 문제는 여전히 배치 워크로드에서 지속되며, 예측 및 자원 관리의 지속적인 과제임을 시사한다.
• 고도의 자원 활용도에서 성능 간섭이 크게 증가한다: 최대 CPI 및 MPKI는 CPU 40% 이상, 메모리 80% 이상 사용 시에 정점에 도달한다.
• Fuxi, 즉 배치 스케줄러는 자원 풀이 동질적이라고 가정하며, 공동 배치로 인해 발생하는 자원 이질성을 고려하지 않는다.
• Sigma(장기 실행형)와 Fuxi(배치) 스케줄러 간의 조율 부족은 더 통합되고 공동 배치 인식 기반의 글로벌 컨트롤러가 필요함을 시사한다.