[論文レビュー] Graph-based Anomaly Detection and Description: A Survey

Leman Akoglu, Hanghang Tong+1 more|arXiv (Cornell University)|Apr 18, 2014

Anomaly Detection Techniques and Applications参考文献 158被引用数 76

ひとこと要約

本調査は、グラフベースの異常検出および記述の包括的で構造的なフレームワークを提示し、教師ありタイプ、グラフの動的特性、属性豊富さの観点から手法を分類している。異常発生の理由を説明する異常帰属（anomaly attribution）に重点を置き、最新技術と金融、セキュリティ、医療分野における実世界の応用を統合的に提示している。

ABSTRACT

Detecting anomalies in data is a vital task, with numerous high-impact applications in areas such as security, finance, health care, and law enforcement. While numerous techniques have been developed in past years for spotting outliers and anomalies in unstructured collections of multi-dimensional points, with graph data becoming ubiquitous, techniques for structured {\em graph} data have been of focus recently. As objects in graphs have long-range correlations, a suite of novel technology has been developed for anomaly detection in graph data. This survey aims to provide a general, comprehensive, and structured overview of the state-of-the-art methods for anomaly detection in data represented as graphs. As a key contribution, we provide a comprehensive exploration of both data mining and machine learning algorithms for these {\em detection} tasks. we give a general framework for the algorithms categorized under various settings: unsupervised vs. (semi-)supervised approaches, for static vs. dynamic graphs, for attributed vs. plain graphs. We highlight the effectiveness, scalability, generality, and robustness aspects of the methods. What is more, we stress the importance of anomaly {\em attribution} and highlight the major techniques that facilitate digging out the root cause, or the `why', of the detected anomalies for further analysis and sense-making. Finally, we present several real-world applications of graph-based anomaly detection in diverse domains, including financial, auction, computer traffic, and social networks. We conclude our survey with a discussion on open theoretical and practical challenges in the field.

研究の動機と目的

• 最新のグラフベースの異常検出手法について、体系的で包括的かつ構造的な概要を提供すること。
• 教師ありタイプ（教師なし、（準）教師あり）、グラフの動的特性（静的、動的）、属性タイプ（属性付き、単純）に基づいて手法を分類する統一的フレームワークを提示すること。
• 検出された異常を説明する根拠（原因）を明らかにする異常帰属の重要性を強調し、意思決定に役立つインサイトと意味の理解を促進すること。
• 金融、ソーシャルネットワーク、サイバーセキュリティ、医療など、さまざまな分野における実用的応用を強調すること。
• スケーラビリティ、耐性、評価、マルチソースのグラフ統合に関する理論的・実用的課題を特定すること。

提案手法

• 教師ありタイプ、グラフタイプ（静的対動的）、データタイプ（属性付き対単純グラフ）の3つの次元に沿って異常検出手法を分類する一般化されたアルゴリズムフレームワークを提案する。
• 構造的、トポロジカル、属性ベースの特徴を活用してグラフ内の長距離相関を捉える手法をレビューし、異常を検出する。
• 異常帰属手法に重点を置き、異常を引き起こしたと考えられる部分グラフ、ノード、エッジを特定して「なぜ」異常が検出されたかを説明する。
• 視覚的アナリティクスとルールベース推論を統合し、解釈可能性を高め、人間が関与する分析を支援する。
• リアルタイムおよびストリーミング環境におけるグラフ異常検出のための、部分線形かつスケーラブルなアルゴリズムに焦点を当てる。
• 実世界のデータでは正解ラベルが不足していることから、評価戦略として異常挿入法と定性的分析を検討する。

実験結果

リサーチクエスチョン

• RQ1 教師ありタイプ、グラフの動的特性、属性豊富さに基づいて、グラフベースの異常検出手法を体系的に分類する方法は何か？
• RQ2 異常を特定する根拠（原因）を説明するために、どの程度の効果的な手法が、関連する部分グラフやノード／エッジのパターンに帰属可能か？
• RQ3 リアルタイム環境における動的かつ進化を続けるネットワークを扱うグラフベースの異常検出手法は、どのように動作するか？
• RQ4 正解ラベルが入手困難または高コストである場合、グラフ異常検出手法の評価に直面する主な課題は何か？
• RQ5 異なる種類の関係性を表す複数のグラフを統合することで、異常検出性能を向上させることは可能か？

主な発見

• グラフベースの異常検出は、データ内の長距離相関や相互依存関係を捉える点で、点ベースの手法を上回る性能を示す。
• 行動可能なインサイトを得るには異常帰属が不可欠であり、関連する部分グラフやパターンを特定するための複数の手法が開発されている。
• ストリーミングまたは大規模な動的グラフにおけるリアルタイム検出には、スケーラブルで部分線形のアルゴリズムが不可欠である。
• 攻撃者が意図的に回避を試みる状況を考慮しない大多数の手法があるため、敵対的耐性は依然として大きな未解決課題のままである。
• 異常検出手法の評価には標準化が不足しており、異常挿入法や定性的分析が一般的ではあるが、完璧ではない代替手段にとどまっている。
• 複数のグラフ（例：ソーシャルネットワークと通信ネットワーク）を統合することで検出性能が向上するが、効果的な統合戦略は依然として研究課題のままである。