[論文レビュー] Multi-Level Anomaly Detection on Streaming Graph Data.

Robert A. Bridges, John P. Collins+3 more|arXiv (Cornell University)|Oct 16, 2014

Anomaly Detection Techniques and Applications参考文献 8被引用数 1

ひとこと要約

本稿では、階層的コミュニティ構造を捉える一般化されたBTERモデルを用いて、ストリーミンググラフデータのためのマルチレベル異常検出フレームワークを提案する。スケールをまたいで確率を集約することで、ノード、部分グラフ、グラフの各レベルで高い正確性と再現率を達成した異常検出が可能となり、直感的な可視化と原因究明が可能となる。

ABSTRACT

As a natural structure for representing entities and in-teractions, graphs are commonly used in many domains. Because of inherent complexity, converting graph data to meaningful information through analysis or visual-ization is often challenging. Identifying patterns and aberrations in graph data can pinpoint areas of inter-est, provide context for deeper understanding, and en-able discovery in many applications. This work presents a novel modeling and analysis framework for graph sequences. The framework ad-dresses the issues of modeling, detecting anomalies at multiple scales, and enabling understanding of graph data. A new graph model, generalizing the BTER model of Seshadhri et al. by adding flexibility to com-munity structure, is introduced and used to perform multi-scale graph anomaly detection. Specifically, prob-ability models describing coarse subgraphs are built by aggregating probabilities at finer levels, and these closely related hierarchical models simultaneously de-tect deviations from expectation. This technique pro-vides insight into the graph’s structure and internal con-text that may shed light on a detected event. Addition-ally, this multi-scale analysis facilitates intuitive visu-alizations by allowing users to narrow focus from an anomalous graph to particular subgraphs causing the anomaly. For evaluation, two hierarchical anomaly de-tectors are tested against a baseline on a series of sam-pled graphs. The superior hierarchical detector outper-forms the baseline, and changes in community struc-ture are accurately detected at the node, subgraph, and graph levels. To illustrate the accessibility of informa-tion made possible via this technique, a prototype vi-sualization tool, informed by the multi-scale analysis is tested on NCAA football data. Teams and confer-ences exhibiting changes in membership are identified with greater than 92 % precision and recall. Screenshots of an interactive visualization, allowing users to probe into selected communities, are given.

研究の動機と目的

• 構造的複雑性と動的変化のため、ストリーミンググラフデータにおける異常検出の課題に対処すること。
• ノード、部分グラフ、グラフの各レベルで同時に逸脱を同定するマルチスケールの異常検出を可能にすること。
• 階層的モデリングを通じて、検出された異常における構造的文脈を解釈可能に提供すること。
• ユーザーが異常なグラフから異常を引き起こしている特定の部分グラフへとドリルダウンできるように、直感的な可視化を支援すること。
• 高い検出精度と構造的解釈可能性を示す、実世界のデータにおけるフレームワークの有効性を実証すること。

提案手法

• 元のBTERモデルを拡張し、柔軟なコミュニティ構造モデリングを可能にする一般化されたBTERモデルを導入すること。
• 細分化された部分グラフから粗い部分グラフへと確率を集約することで、階層的確率モデルを構築すること。
• これらの階層的モデルを用いて、複数スケールにわたる期待される構造的パターンからの逸脱を検出すること。
• 確率の集約を活用し、局所的な異常をグローバルなグラフレベルの逸脱に関連付けることで、文脈に配慮した検出を可能にすること。
• 検出されたコミュニティや部分グラフを詳細に探査できるインタラクティブな可視化ツールのプロトタイプを開発すること。
• サンプリングされたグラフシーケンスおよび実際のNCAAフットボールデータを用いて、フレームワークの検出性能を評価すること。

実験結果

リサーチクエスチョン

• RQ1 ノード、部分グラフ、グラフの各レベルで、同時に複数の構造的スケールにおけるグラフの異常をどのように検出できるか？
• RQ2 階層的確率モデリングは、ベースライン手法と比較して異常検出の正確性を向上させることができるか？
• RQ3 本フレームワークは、チームやカンファレンスの所属変更のようなコミュニティ構造の変化を、どの程度正確に同定できるか？
• RQ4 可視化ツールは、ユーザーが検出された異常要因を探索・解釈するのをどの程度効果的に支援できるか？
• RQ5 本手法は、高い正確性と再現率でストリーミンググラフデータにおける構造的変化を検出できるか？

主な発見

• 階層的異常検出器は、あらゆるスケールにおいてベースラインを著しく上回る性能を示した。
• NCAAフットボールにおけるチーム所属の変更のようなコミュニティ構造の変化が、92%以上の正確性と再現率で検出された。
• マルチスケールフレームワークは、局所的な逸脱をグローバルなグラフレベルの異常に関連付けることで、異常な部分グラフを効果的に同定した。
• 可視化ツールにより、ユーザーは特定のコミュニティに詳細にアクセスでき、検出された出来事の解釈可能性と文脈的理解が向上した。
• 階層的レベル間での確率の集約により、検出された異常における内部構造と文脈に関する意味のある洞察が得られた。