[論文レビュー] Testing MapReduce-Based Systems

João Eugênio Marynowski, Michel Albonico+2 more|arXiv (Cornell University)|Sep 28, 2012

Cloud Computing and Resource Management参考文献 4被引用数 7

ひとこと要約

本稿では、MapReduceベースのシステム向けにスケーラブルなテストハーネス「HadoopTest」を提案する。この手法は、各マップおよびリデュースワーカーに分散テストャーをデプロイし、テスト実行の調整、障害の注入、結果の検証を実施する。2つのHadoopバンドルアプリケーションにおいて、非同等なミューテントをすべて特定することに成功し、協調的で障害注入を伴うテストによって機能的なバグを効果的に検出できることを示した。

ABSTRACT

MapReduce (MR) is the most popular solution to build applications for large-scale data processing. These applications are often deployed on large clusters of commodity machines, where failures happen constantly due to bugs, hardware problems, and outages. Testing MR-based systems is hard, since it is needed a great effort of test harness to execute distributed test cases upon failures. In this paper, we present a novel testing solution to tackle this issue called HadoopTest. This solution is based on a scalable harness approach, where distributed tester components are hung around each map and reduce worker (i.e., node). Testers are allowed to stimulate each worker to inject failures on them, monitor their behavior, and validate testing results. HadoopTest was used to test two applications bundled into Hadoop, the Apache open source MapReduce implementation. Our initial implementation demonstrates promising results, with HadoopTest coordinating test cases across distributed MapReduce workers, and finding bugs.

研究の動機と目的

• 大規模で故障しやすいMapReduceシステムを、複雑な分散テストケースの調整を伴ってテストする課題に対処すること。
• 複数のMapReduceワーカー（マップおよびリデュースノード）にまたがるテストケースの協調的かつ並列実行を可能にすること。
• システムのテスト対象のソースコードを変更せずに、障害注入とリアルタイムでの検証をサポートすること。
• 生産環境向けHadoopアプリケーションの機能的かつ障害に配慮したテストのための、侵襲的でないスケーラブルなソリューションを提供すること。
• 実際のHadoopアプリケーションを対象に、ミューテーション解析を用いてこのアプローチの有効性を評価すること。

提案手法

• HadoopTestは、各MapReduceワーカーノードに軽量なテストャー部品をデプロイし、テスト実行の制御と挙動の監視を実施する。
• 各テストャーは分散協調アルゴリズムを介して他のテストャーと連携し、ノード間でのテストケース実行を同期する。
• テストャーは、ワーカーノードに直接障害（例：シミュレートされたクラッシュ、遅延）を注入することで、現実の障害状態を模倣する。
• 機能検証は、アサーションと値比較のオラクルを用いて、期待される出力と観測された出力を比較することで実施する。
• フレームワークはHadoopと統合されており、テスト対象システムのソースコードの変更を必要としない。
• ミューテーション解析を用いて、ターゲットアプリケーションのミューテントを生成し、HadoopTestがそれらを検出できるか評価する。

実験結果

リサーチクエスチョン

• RQ1 テストハーネスは、複数のMapReduceワーカーノードにまたがる分散テストケースを効果的に調整できるか？
• RQ2 HadoopTestは、個々のマップおよびリデュースワーカーに障害を注入し、現実の障害を模倣できるか？
• RQ3 HadoopTestは、テスト対象システムのソースコードを変更せずに、協調的で障害注入を伴うテストによって機能的なバグを検出できるか？
• RQ4 HadoopTestは、実際のHadoopアプリケーションにおける非同等なミューテントをどれほど効果的に検出できるか？
• RQ5 HadoopTestは、基本的な例を越えて、複雑な生産環境向けMapReduceアプリケーションをテストできるか？

主な発見

• HadoopTestは、Grid5000テストベッドにおいて50台のマシンノードにまたがる分散テストケースを成功裏に調整し、スケーラビリティと協調能力を実証した。
• PiEstimatorアプリケーションにおいて、すべての非同等なミューテントが検出された。これは、機能的欠陥に対して高い感受性を示していることを意味する。
• WordCountアプリケーションのすべての非同等なミューテントも検出された。これにより、機能テストにおけるフレームワークの有効性が確認された。
• テスト対象システムのソースコードを変更せずに、効果的な障害注入と検証が実現した。
• HadoopTestは、MRUnit や Herriot といった既存ツールに比べ、マップおよびリデュースノードにまたがる並列テスト実行と分散協調を可能にした。
• 初期実装段階で、ミューテーション解析によるバグの特定に有望な結果が得られた。これは、Hadoopテスト分野における広範な採用の可能性を示唆している。