[論文レビュー] MacroBase: Analytic Monitoring for the Internet of Things

Peter Bailis, Deepak Narayanan+1 more|arXiv (Cornell University)|Mar 2, 2016

Anomaly Detection Techniques and Applications参考文献 81被引用数 6

ひとこと要約

MacroBase は、異常値検出と説明演算子を統合したストリーミング分析エンジンであり、リアルタイムで統計的に裏付けられた IoT データストリームの監視を可能にする。1コアあたり最大 200 万イベント/秒の処理を達成し、非ストリーミングの代替手法と比較して 1 時間程度の高速化を実現し、大規模な IoT デプロイメントにおけるプロダクションスケールの監視を可能にする。

ABSTRACT

An increasing proportion of data today is generated by automated processes, sensors, and devices---collectively, the Internet of Things (IoT). IoT applications' rising data volume, demands for time-sensitive analysis, and heterogeneity exacerbate the challenge of identifying and highlighting important trends in IoT deployments. In response, we present MacroBase, a data analytics engine that performs statistically-informed analytic monitoring of IoT data streams by identifying deviations within streams and generating potential explanations for each. MacroBase is the first analytics engine to combine streaming outlier detection and streaming explanation operators, allowing cross-layer optimizations that deliver order-of-magnitude speedups over existing, primarily non-streaming alternatives. As a result, MacroBase can deliver accurate results at speeds of up to 2M events per second per query on a single core. MacroBase has delivered meaningful analytic monitoring results in production, including an IoT company monitoring hundreds of thousands of vehicles.

研究の動機と目的

• リアルタイムで高ボリュームかつ時間的に敏感で多様な IoT データストリームを監視するという、増大する課題に対処すること。
• 運用上の問題や異常を示す意味のある逸脱を IoT データストリーム内で特定すること。
• 検出された異常のための実行可能でデータドリブンな説明を生成し、迅速な診断を支援すること。
• 異常値検出と説明を統合した包括的でレイヤー間連携のとれたパイプラインとしてのストリーミング分析を最適化すること。
• 複雑な IoT 環境におけるプロダクションデプロイメントに適した、大規模で高性能な分析を提供すること。

提案手法

• MacroBase は、低レイテンシーでリアルタイムにデータを処理するストリーミングアーキテクチャを採用しており、高速な IoT データストリームの継続的監視を可能にする。
• 統計的異常値検出技術を用いて、データストリーム内の期待されるパターンからの逸脱を特定する。
• ストリーミング説明演算子を用いて、検出された異常のための人間が読みやすい仮説を生成し、逸脱が潜在的な根本原因と関連付ける。
• 検出と説明のコンponent間のレイヤー間最適化により、レイテンシーを低減しスループットを向上させ、高速処理を実現する。
• エンジンは効率的にスケーリング可能であり、1つの CPU コアで 1 クエリあたり最大 200 万イベント/秒を処理できる。
• MacroBase は多様なデータソースと、IoT デプロイに一般的な動的クエリワークロードをサポートする。

実験結果

リサーチクエスチョン

• RQ1 IoT ワークロード向けのストリーミング分析パイプラインにおいて、異常値検出と異常説明をどのように効率的に統合できるか。
• RQ2 ストリーミングシステムに検出と説明の演算子を統合することで、どの程度のパフォーマンス向上が達成できるか。
• RQ3 ストリーミング分析エンジンは、1秒未満のレイテンシーで高速度の IoT データを処理し、高い正確性を維持できるか。
• RQ4 実世界の IoT デプロイメントにおいて、意味のある異常を効果的に特定・説明できるか。
• RQ5 非ストリーミングの代替手法と比較して、1 時間程度のパフォーマンス向上を実現するためのアーキテクチャ的最適化は何か。

主な発見

• MacroBase は、1コアあたり最大 200 万イベント/秒を達成し、高いスループットと低レイテンシーを実現した。
• ストリーミング異常値検出と説明演算子の統合により、非ストリーミングシステムと比較して 1 時間程度の高速化が実現されるクロスレイヤー最適化が可能になった。
• システムはプロダクション環境で実行可能で、実際の分析監視結果を提供した。具体的には、大手 IoT デプロイメントで数十万台の車両を監視した。
• MacroBase は、複雑で多様な IoT データストリームにおける意味のある逸脱を効果的に特定・説明でき、迅速な診断を支援した。
• エンジンのアーキテクチャは、最小限のレイテンシーで大規模な IoT アプリケーションのリアルタイム監視をスケーラブルに可能にした。
• MacroBase のパフォーマンスと正確性は、ミッションクリティカルで時間的に敏感な IoT 監視ワークロードに適している。