[논문 리뷰] PerfXplain: Debugging MapReduce Job Performance

Nodira Khoussainova, Magdalena Bałazińska외 1명|arXiv (Cornell University)|2012. 03. 29.

Data Quality and Management참고 문헌 26인용 수 4

한 줄 요약

PerfXplain는 비전문가 사용자가 MapReduce 작업 성능을 디버깅하는 데 도움을 주기 위해 작업 쌍 간의 성능 차이에 대한 인간이 이해할 수 있는 설명을 생성하는 시스템입니다. 이 시스템은 실행 로그에 기반한 기계학습과 쿼리 언어(PXQL)를 사용하여 높은 관련성, 정밀도, 일반성을 갖춘 설명을 생성하며, AWS EC2 로그를 대상으로 한 실험에서 단순 기준 대비 뛰어난 성능을 보입니다.

ABSTRACT

While users today have access to many tools that assist in performing large scale data analysis tasks, understanding the performance characteristics of their parallel computations, such as MapReduce jobs, remains difficult. We present PerfXplain, a system that enables users to ask questions about the relative performances (i.e., runtimes) of pairs of MapReduce jobs. PerfXplain provides a new query language for articulating performance queries and an algorithm for generating explanations from a log of past MapReduce job executions. We formally define the notion of an explanation together with three metrics, relevance, precision, and generality, that measure explanation quality. We present the explanation-generation algorithm based on techniques related to decision-tree building. We evaluate the approach on a log of past executions on Amazon EC2, and show that our approach can generate quality explanations, outperforming two naive explanation-generation methods.

연구 동기 및 목표

• 비전문가 사용자가 MapReduce 작업의 성능 문제를 디버깅하는 데 도전하는 문제를 해결하기 위해.
• 사용자가 작업 또는 작업 항목 쌍에 대해 비교적 성능 질문을 요청하고 답변할 수 있도록 하기 위해.
• 성능 이상 현상에 대해 고품질의 인간이 이해할 수 있는 설명을 생성하기 위해.
• 관련성, 정밀도, 일반성 메트릭을 사용하여 설명 품질을 체계화하기 위해.
• 최소한의 사용자 입력으로도 확장 가능한, 로그 기반의 설명 생성 알고리즘 개발하기 위해.

제안 방법

• 비교 성능 질문을 지정하기 위해 고유한 쿼리 언어인 PerfXplain 쿼리 언어(PXQL)를 사용합니다.
• 각 작업 또는 작업 실행을 구성 및 성능 메트릭의 특성 벡터로 표현합니다.
• 기존의 결정트리 유사 기계학습 기법을 적용하여 이력 실행 로그에서 설명을 추출합니다.
• 두 개의 조건문으로 설명을 생성합니다: '다음에도' 조건(기대되는 행동의 맥락)과 '왜' 조건(관측된 이질성의 설명).
• 세 가지 메트릭을 사용하여 설명 품질을 최적화합니다: 관련성(맥락적 적합성), 정밀도(설명의 정확성), 일반성(유사 사례에 적용 가능한 정도).
• 과거 실행 로그를 활용하여 학습을 위한 양성(기대되는 행동) 및 음성(기대치 못한 행동) 예외 쌍을 식별합니다.

실험 결과

연구 질문

• RQ1 비전문가 지식이 없는 사용자가 전문 시스템 지식 없이 MapReduce 작업의 비교 성능 질문을 효과적으로 요청하고 답변할 수 있는 방법은 무엇인가요?
• RQ2 작업 실행 간 성능 차이에 대한 고품질의 설명은 무엇을 포함해야 할까요?
• RQ3 관련성, 정밀도, 일반성 메트릭을 사용하여 설명 품질을 체계적으로 측정하고 최적화할 수 있는 방법은 무엇인가요?
• RQ4 로그 데이터에서 기계학습 기법을 활용해 단순 히ュ리스틱보다 뛰어난 설명을 생성할 수 있을까요?
• RQ5 이러한 접근 방식은 MapReduce를 초월하여 다른 병렬 데이터 처리 시스템으로도 일반화될 수 있을까요?

주요 결과

• PerfXplain는 실제 AWS EC2 로그를 대상으로 한 평가에서 두 가지 단순 기준 대비 더 높은 관련성, 정밀도, 일반성을 갖춘 설명을 성공적으로 생성했습니다.
• 이 시스템의 설명 생성 알고리즘이 성능 이질성의 맥락적 요인(다음에도 조건)과 근본 원인(왜 조건)을 효과적으로 식별합니다.
• 특성 벡터의 사용 덕분에 이 접근 방식은 MapReduce를 초월해 다른 병렬 처리 시스템으로도 일반화될 수 있습니다.
• 관련성, 정밀도, 일반성의 체계적 메트릭은 설명 품질 평가 및 향상에 원칙적인 방법을 제공합니다.
• 실험 결과, PerfXplain의 설명은 정확할 뿐 아니라 비전문가 사용자에게도 의미 있고 실행 가능한 것으로 확인되었습니다.