[논문 리뷰] Testing MapReduce-Based Systems

João Eugênio Marynowski, Michel Albonico외 2명|arXiv (Cornell University)|2012. 09. 28.

Cloud Computing and Resource Management참고 문헌 4인용 수 7

한 줄 요약

이 논문은 HadoopTest를 제안하며, 이는 MapReduce 기반 시스템을 위한 확장 가능한 테스트 허브로, 각 맵 및 리듀스 워커에 분산 테스터를 배포하여 테스트 실행을 조율하고, 장애를 주입하며 결과를 검증한다. 이는 두 개의 Hadoop 통합 애플리케이션에서 모든 비동치(mutant)를 성공적으로 식별하여, 조율된 장애 주입 테스트를 통해 기능 버그를 탐지하는 데 효과적임을 입증한다.

ABSTRACT

MapReduce (MR) is the most popular solution to build applications for large-scale data processing. These applications are often deployed on large clusters of commodity machines, where failures happen constantly due to bugs, hardware problems, and outages. Testing MR-based systems is hard, since it is needed a great effort of test harness to execute distributed test cases upon failures. In this paper, we present a novel testing solution to tackle this issue called HadoopTest. This solution is based on a scalable harness approach, where distributed tester components are hung around each map and reduce worker (i.e., node). Testers are allowed to stimulate each worker to inject failures on them, monitor their behavior, and validate testing results. HadoopTest was used to test two applications bundled into Hadoop, the Apache open source MapReduce implementation. Our initial implementation demonstrates promising results, with HadoopTest coordinating test cases across distributed MapReduce workers, and finding bugs.

연구 동기 및 목표

• 대규모이고 고장이 자주 발생하는 MapReduce 시스템을 복잡한 분산 테스트 케이스 조율을 통해 테스트하는 데 도전하는 것.
• 여러 MapReduce 워커(맵 및 리듀스 노드) 간에 테스트 케이스를 조율된 병렬 실행을 가능하게 하는 것.
• 시스템 테스트 대상의 소스 코드를 수정하지 않고도 장애 주입과 실시간 검증을 지원하는 것.
• 생산 수준의 Hadoop 애플리케이션에 대한 기능적이고 장애 인식 테스트를 위한 비침습적이고 확장 가능한 솔루션을 제공하는 것.
• 실제 Hadoop 애플리케이션을 대상으로 변종 분석(mutation analysis)을 사용하여 접근 방식의 효과성을 평가하는 것.

제안 방법

• HadoopTest는 각 MapReduce 워커 노드에 경량 테스터 컴ponent를 배포하여 테스트 실행을 제어하고 행동을 모니터링한다.
• 각 테스터는 분산 조율 알고리즘을 통해 상호 협력하여 노드 간의 테스트 케이스 실행을 동기화한다.
• 테스터는 워커 노드에 직접 장애(예: 시뮬레이션된 충돌, 지연)를 주입하여 실제 세계의 장애 조건을 모방한다.
• 기능 검증은 어설션과 값 비교 오라클을 사용하여 예상 출력과 관측된 출력을 비교함으로써 수행된다.
• 프레임워크는 Hadoop와 통합되며, 시스템 테스트 대상의 소스 코드 수정이 필요하지 않다.
• 변종 분석을 적용하여 대상 애플리케이션의 변종(mutants)을 생성하고, HadoopTest는 이러한 변종이 탐지되는지 평가한다.

실험 결과

연구 질문

• RQ1 테스트 허브는 다수의 MapReduce 워커 노드에 걸쳐 분산 테스트 케이스를 효과적으로 조율할 수 있는가?
• RQ2 HadoopTest는 맵 및 리듀스 워커 개별 노드에 장애를 성공적으로 주입하여 실제 세계의 장애를 시뮬레이션할 수 있는가?
• RQ3 HadoopTest는 시스템 테스트 대상의 소스 코드를 수정하지 않고도 조율된 장애 주입 테스트를 통해 기능 버그를 탐지할 수 있는가?
• RQ4 HadoopTest는 실제 Hadoop 애플리케이션에서 비동치(mutants)를 탐지하는 데 얼마나 효과적인가?
• RQ5 HadoopTest는 기본 예제를 넘어서 복잡한 생산 수준의 MapReduce 애플리케이션을 테스트하는 데 사용될 수 있는가?

주요 결과

• HadoopTest는 Grid5000 테스트베드에서 50台의 머신 노드에 걸쳐 분산 테스트 케이스를 성공적으로 조율하여 확장성과 조율 능력을 입증했다.
• 프레임워크는 PiEstimator 애플리케이션의 모든 비동치(mutants)를 탐지하여 기능 장애에 대한 높은 민감도를 보였다.
• WordCount 애플리케이션의 모든 비동치(mutants)도 탐지되어 기능 테스트에 대한 프레임워크의 효과성을 확인했다.
• 시스템 테스트 대상의 소스 코드를 수정하지 않고도 효과적인 장애 주입과 검증을 달성했다.
• HadoopTest는 MRUnit 및 Herriot와 같은 기존 도구보다 맵 및 리듀스 노드 간에 병렬 테스트 실행과 분산 조율을 가능하게 하여 우수한 성능을 보였다.
• 초기 구현은 변종 분석을 통한 버그 식별에서 잠재력을 보여주어 Hadoop 테스트 분야에서 광범위한 도입 가능성을 시사한다.