[논문 리뷰] BigRoots: An Effective Approach for Root-cause Analysis of Stragglers in Big Data System

Honggang Zhou, Yunchun Li외 3명|arXiv (Cornell University)|2018. 01. 10.

Cloud Computing and Resource Management참고 문헌 15인용 수 6

한 줄 요약

BigRoots는 빅데이터 시스템에서 스트레일러의 원인 분석을 위해 프레임워크 수준 메트릭(예: 샤프르 I/O, GC 시간)과 시스템 수준 자원 활용도(CPU, I/O, 네트워크)를 조합하는 하이브리드 원인 분석 프레임워크를 제안한다. 스트레일러 작업과 정상 작업 간의 기능 이탈 분석을 통해 높은 정확도로 진정한 원인을 탐지하며, 가짜 양성 결과를 최소화한다. 실험적으로 장애 주입 및 Hibench 사례 연구를 통해 검증되었다.

ABSTRACT

Stragglers are commonly believed to have a great impact on the performance of big data system. However, the reason to cause straggler is complicated. Previous works mostly focus on straggler detection, schedule level optimization and coarse-grained cause analysis. These methods cannot provide valuable insights to help users optimize their programs. In this paper, we propose BigRoots, a general method incorporating both framework and system features for root-cause analysis of stragglers in big data system. BigRoots considers features from big data framework such as shuffle read/write bytes and JVM garbage collection time, as well as system resource utilization such as CPU, I/O and network, which is able to detect both internal and external root causes of stragglers. We verify BigRoots by injecting high resource utilization across different system components and perform case studies to analyze different workloads in Hibench. The experimental results demonstrate that BigRoots is effective to identify the root cause of stragglers and provide useful guidance for performance optimization.

연구 동기 및 목표

• 특수 실행 이외의 정확하고 실행 가능한 스트레일러 원인 분석의 부족을 해결한다.
• 이전 방법들이 거시적 상관관계, 온라인 모니터링 또는 제한된 인스트루멘테이션에 의존하는 한계를 극복한다.
• 풍부한 맥락 데이터를 제공하는 오프라인 기반 기능 기반 원인 진단을 제공하여 성능 튜닝을 유도한다.
• 의미 없는 기능(예: 블로킹 시간이 작업 시간의 1% 미만)을 걸러내고 통계 규칙을 적용하여 정확도를 향상시킨다.
• 개발자와 관리자가 데이터 레이아웃, 스케줄링 및 자원 할당을 최적화하기 위한 실행 가능한 통찰을 제공한다.

제안 방법

• 빅데이터 프레임워크(예: 샤프르 읽기/쓰기 바이트, JVM GC 시간) 및 시스템(CPU, I/O, 네트워크 활용도)으로부터 포괄적인 기능을 수집한다.
• 동일한 스테이지 내에서 스트레일러 작업의 기능 값과 정상 작업의 기능 값을 비교하여 현저한 이탈을 탐지한다.
• 영향이 미미한 기능(예: 블로킹 시간이 작업 시간의 1% 미만)을 걸러내기 위해 통계 규칙을 적용하여 가짜 양성 결과를 감소시킨다.
• 특징 이탈 임계값을 정밀하게 조정하고 실제 이상에 민감하게 반응하기 위해 에지 검출 기법을 통합한다.
• 시스템 구성 요소 전반에 걸쳐 자원 경쟁(예: CPU, I/O, 네트워크)을 시뮬레이션하기 위해 장애 주입을 수행하여 원인 분석 검증을 수행한다.
• HiBench 벤치마크 세트의 다양한 워크로드를 대상으로 사례 연구를 수행하여 실제 환경에서의 효과를 평가한다.

실험 결과

연구 질문

• RQ1 빅데이터 워크로드에서 스트레일러의 원인을 프레임워크 및 시스템 기능 기반의 하이브리드 접근 방식으로 정확하게 식별할 수 있는가?
• RQ2 BigRoots는 관련성이 있지만 의미 없는 시스템 메트릭과 진정한 원인을 얼마나 잘 구분하는가?
• RQ3 CPU, I/O, 네트워크 병목 현상 등의 자원 경쟁을 주입했을 때 BigRoots는 원인을 얼마나 잘 탐지할 수 있는가?
• RQ4 통제된 이상 조건 하에서 기존 방법인 PCC와 비교해 BigRoots의 원인 분석 정확도는 어떠한가?
• RQ5 BigRoots는 다양한 빅데이터 워크로드에서 성능 최적화를 위한 실행 가능한 통찰을 제공할 수 있는가?

주요 결과

• BigRoots는 CPU, I/O, 네트워크 자원 경쟁을 주입한 모든 시나리오에서 스트레일러의 진정한 원인을 100%로 정확하게 식별했다.
• 에지 검출 기법의 통합으로 자원 기능에 대한 가짜 양성 결과가 크게 감소하여 영향이 없는 이탈을 걸러내는 데 기여했다.
• 60% 이상의 스트레일러는 스케줄러 지연, HDFS 디스크 읽기, 샤프르 읽기/쓰기, 자바 가비지 수집에 기인하며, 분석을 통해 확인된 주요 병목 현상이다.
• HiBench 워크로드에 대한 사례 연구는 BigRoots가 데이터 로컬리티 문제나 I/O 병목 현상과 같은 실행 가능한 통찰을 제공함으로써 타겟 최적화를 가능하게 했다.
• 특히 관련 기능과 인과 기능을 구분하는 데서 PCC보다 BigRoots가 원인 분석 정확도에서 뛰어난 성능을 보였다.
• BigRoots를 통한 오프라인 분석은 특수 실행과 달리 진단 없이 추가 자원을 소비하는 것보다 비용 효율적인 반복 작업 최적화를 가능하게 했다.