[論文レビュー] BigRoots: An Effective Approach for Root-cause Analysis of Stragglers in Big Data System

Honggang Zhou, Yunchun Li+3 more|arXiv (Cornell University)|Jan 10, 2018

Cloud Computing and Resource Management参考文献 15被引用数 6

ひとこと要約

BigRootsは、大規模なデータ処理システムにおける遅延タスクの原因を特定するためのハイブリッド根拠分析フレームワークを提案する。フレームワークレベルのメトリクス（例：シャッフルI/O、GC時間）とシステムレベルのリソース利用状況（CPU、I/O、ネットワーク）を組み合わせ、遅延タスクと通常のタスク間の特徴の乖離を分析することで、誤検出を最小限に抑えつつ真の原因を高い精度で特定する。故障挿入実験およびHiBenchの事例研究により検証済み。

ABSTRACT

Stragglers are commonly believed to have a great impact on the performance of big data system. However, the reason to cause straggler is complicated. Previous works mostly focus on straggler detection, schedule level optimization and coarse-grained cause analysis. These methods cannot provide valuable insights to help users optimize their programs. In this paper, we propose BigRoots, a general method incorporating both framework and system features for root-cause analysis of stragglers in big data system. BigRoots considers features from big data framework such as shuffle read/write bytes and JVM garbage collection time, as well as system resource utilization such as CPU, I/O and network, which is able to detect both internal and external root causes of stragglers. We verify BigRoots by injecting high resource utilization across different system components and perform case studies to analyze different workloads in Hibench. The experimental results demonstrate that BigRoots is effective to identify the root cause of stragglers and provide useful guidance for performance optimization.

研究の動機と目的

• スペキュラティブ実行を超えて、大規模データ処理システムにおける遅延タスクの正確で実行可能な根拠分析の欠如に取り組む。
• 粗い相関関係、オンライン監視、または限られたインストルメンテーションに依存する従来の手法の限界を克服する。
• 豊富な文脈的情報を備えたオフライン、特徴ベースの根拠診断を提供し、パフォーマンスチューニングを支援する。
• 顕著でない特徴（例：ブロッキング時間の割合が1%未満）をフィルタリングし、統計的ルールを適用することで精度を向上させる。
• 開発者および管理者がデータレイアウト、スケジューリング、リソース割り当てを最適化できる実行可能なインサイトを提供する。

提案手法

• 大規模データ処理フレームワーク（例：シャッフルの読み取り/書き込みバイト数、JVMのGC時間）およびシステム（CPU、I/O、ネットワーク利用状況）から包括的な特徴を収集する。
• 同じステージ内における遅延タスクと通常タスクの特徴値を比較し、顕著な乖離を検出する。
• 影響が小さいとされる特徴（例：ブロッキング時間の割合がタスク実行時間の1%未満）を統計的ルールでフィルタリングし、誤検出を低減する。
• エッジ検出技術を統合して特徴の乖離しきい値を最適化し、本物の異常をより敏感に検出可能にする。
• 故障挿入を用いて、システムの各コンponentでリソース競合（CPU、I/O、ネットワーク）をシミュレートし、根拠特定の有効性を検証する。
• HiBenchベンチマークスイートの多様なワークロードに対して事例研究を実施し、実世界での有効性を評価する。

実験結果

リサーチクエスチョン

• RQ1 大規模データワークロードにおける遅延タスクの根本原因を、フレームワークとシステムの両方の特徴に基づくハイブリッド手法で正確に同定できるか？
• RQ2 BigRootsは、相関関係はあるが実質的影響のないシステムメトリクスと、真の根本原因をどれほど効果的に区別できるか？
• RQ3 CPU、I/O、ネットワークのボトルネックなどの注入されたリソース競合下でも、BigRootsは根本原因をどれほど正確に検出できるか？
• RQ4 制御された異常条件下で、PCCのような既存手法と比較してBigRootsは根本原因をどれほど正確に同定できるか？
• RQ5 BigRootsは多様な大規模データワークロードにおいて、パフォーマンス最適化のための実行可能なインサイトを提供できるか？

主な発見

• BigRootsは、CPU、I/O、ネットワークのリソース競合を注入した全ケース（100%）で、遅延タスクの真の根本原因を正しく特定した。
• エッジ検出技術の統合により、リソース関連特徴の誤検出が顕著に低減され、影響のない乖離が除外された。
• 60%以上の遅延タスクはスケジューラ遅延、HDFSディスク読み取り、シャッフル読み取り/書き込み、Javaのガーベジコレクションに起因しており、分析によりこれらの主要なボトルネックが確認された。
• HiBenchワークロードにおける事例研究では、BigRootsがデータローカリティの問題やI/Oボトルネックといった実行可能なインサイトを提供し、的確な最適化を可能にした。
• 注入された異常条件下でも、PCCに比べてBigRootsは根本原因特定の精度が優れており、相関関係のある特徴と因果関係のある特徴を効果的に区別できた。
• BigRootsによるオフライン分析により、再発するジョブのコスト効率の良い最適化が可能となり、診断なしにリソースを消費するスペキュラティブ実行とは対照的であった。