[論文レビュー] MacroBase: Prioritizing Attention in Fast Data

Peter Bailis, Edward Gan+4 more|arXiv (Cornell University)|Mar 2, 2016

Data Stream Mining Techniques被引用数 9

ひとこと要約

MacroBaseは、ストリーミング分類および説明演算子を組み合わせることで、高速なデータストリームにおいて人間の注目を最優先にする高性能な分析エンジンです。最適化されたサンプリングおよびスケッチ技術を用いることで、1クエリあたり最大200万イベント/秒の処理を達成し、生産環境における異常行動のリアルタイム検出および実行可能なインサイトの提供を可能にします。

ABSTRACT

As data volumes continue to rise, manual inspection is becoming increasingly untenable. In response, we present MacroBase, a data analytics engine that prioritizes end-user attention in high-volume fast data streams. MacroBase enables efficient, accurate, and modular analyses that highlight and aggregate important and unusual behavior, acting as a search engine for fast data. MacroBase is able to deliver order-of-magnitude speedups over alternatives by optimizing the combination of explanation and classification tasks and by leveraging a new reservoir sampler and heavy-hitters sketch specialized for fast data streams. As a result, MacroBase delivers accurate results at speeds of up to 2M events per second per query on a single core. The system has delivered meaningful results in production, including at a telematics company monitoring hundreds of thousands of vehicles.

研究の動機と目的

• 膨大で高速に移動するデータストリームにさらされる人間のアナリストが過負荷に陥る課題に対処すること。
• リアルタイムで異常または重要な行動を自動的に特定・強調表示する分析システムを設計すること。
• ラベル付きデータを必要とせずに、効率的でモジュラーかつ合成可能な分析パイプラインを可能にすること。
• 新しいストリーミングデータ構造を用いて、大量かつ多様で時間に敏感なデータストリームの性能最適化を図ること。
• 解釈可能な自動要約を通じて、専門外のユーザーが以前に未知の問題を検出できるようにすること。

提案手法

• ユーザー定義のメトリクス（例：電力消費）に基づき、密度に基づく非教師あり分類を用いてストリーミングデータ内の外れ値を検出する。
• 統計的性質を保持しつつ、大量のデータストリームを効率的にサンプリングするための新規リザボア・サンプリング手法を採用する。
• 外れ値を特徴付ける属性間の相関関係を特定・説明するために、特別に設計されたヘビーヒッタースケッチを適用する。
• 分類および説明演算子をモジュラーかつ合成可能なデータフローアーキテクチャに統合する。
• ドメイン固有の特徴変換（例：フーリエ変換、自己相関）を介して拡張性をサポートし、カスタム分析を可能にする。
• 外部の機械学習ライブラリ（例：Elki、Weka、RapidMiner）と統合し、柔軟な外れ値検出プラグインを提供する。

実験結果

リサーチクエスチョン

• RQ1 手動による点検に依存せずに、大量かつリアルタイムのデータストリームにおいて人間の注目を最適化する分析システムはどのように実現できるか？
• RQ2 どのストリーミング分類および説明技術の組み合わせが、スケーラブルかつ正確で効率的な異常検出を実現できるか？
• RQ3 新規のサンプリングおよびスケッチ技術は、高速なデータ分析における性能を著しく向上させるとともに、結果の正確性を維持できるか？
• RQ4 モジュラーかつ合成可能なアーキテクチャは、テレマティクス、データセンターテレメトリ、製造業など多様な分野の多様なユースケースをどのようにサポートできるか？
• RQ5 非教師ありで密度に基づく手法は、実世界の高速データにおいて、以前に未知の異常をどれほど効果的に検出できるか？

主な発見

• MacroBaseは、1コアで1クエリあたり最大200万イベント/秒のスループットを達成し、大量のデータストリームのリアルタイム分析を可能にした。
• 本システムは、アプリケーションバージョン2.26.3を実行するB264型デバイスにおいて、異常な電力消費が60倍に増加していることを特定し、以前に未知のソフトウェア・ハードウェア相互作用の問題を解明した。
• 最適化されたリザボア・サンプリングとヘビーヒッタースケッチの統合により、計算オーバーヘッドが低減されつつも、検出の正確性が維持された。
• テレマティクス会社における生産環境での導入では、数十万両の車両をモニタリングした結果、意味的で実行可能な異常を検出できる能力が確認された。
• モジュラーなアーキテクチャにより、ユーザーは時間系列演算などのドメイン固有の機能を追加可能であり、パフォーマンスを損なわずに拡張が可能である。
• MacroBaseは、バッチベースの説明技術に比べてスループットで優れており、先行研究で観察された1秒あたり1万点程度の速度をはるかに上回る速度が報告されている。