[論文レビュー] Near-optimal Anomaly Detection in Graphs using Lovasz Extended Scan Statistic

James Sharpnack, Akshay Krishnamurthy+1 more|arXiv (Cornell University)|Dec 11, 2013

Anomaly Detection Techniques and Applications参考文献 29被引用数 47

ひとこと要約

この論文は、ガウスノイズ下でのグラフにおける異常で密に接続されたクラスタを検出するための、計算的に効率的な一般化尤度比検定の近似として、Lovász拡張スキャン統計量（LESS）を提案する。部分モジュラリティおよびマルコフ確率場や電気ネットワーク理論との関連を活用することで、LESSは近似的に最適な検出性能を達成し、累乗時間計算が可能である最小s-tカットの逐次最適化により実現される。

ABSTRACT

The detection of anomalous activity in graphs is a statistical problem that arises in many applications, such as network surveillance, disease outbreak detection, and activity monitoring in social networks. Beyond its wide applicability, graph structured anomaly detection serves as a case study in the difficulty of balancing computational complexity with statistical power. In this work, we develop from first principles the generalized likelihood ratio test for determining if there is a well connected region of activation over the vertices in the graph in Gaussian noise. Because this test is computationally infeasible, we provide a relaxation, called the Lovasz extended scan statistic (LESS) that uses submodularity to approximate the intractable generalized likelihood ratio. We demonstrate a connection between LESS and maximum a-posteriori inference in Markov random fields, which provides us with a poly-time algorithm for LESS. Using electrical network theory, we are able to control type 1 error for LESS and prove conditions under which LESS is risk consistent. Finally, we consider specific graph models, the torus, k-nearest neighbor graphs, and epsilon-random graphs. We show that on these graphs our results provide near-optimal performance by matching our results to known lower bounds.

研究の動機と目的

• この論文の目的は、ガウスノイズ下でのグラフにおける異常で密に接続されたクラスタを検出する課題に取り組むことにある。
• グラフ構造の異常検出において、統計的パワーと計算可能性のバランスを図ることを目的としている。
• 大規模なグラフに対して、統計的に強力でありながら計算的に扱える検定を開発することを目的としている。
• 本手法の第一種誤りの制御とリスクの一貫性に関する理論的保証を提供することを目的としている。
• 特定のグラフモデルにおける既知の下界と一致させることで、本手法の近似的最適性を示すことにある。

提案手法

• 論文は、異常クラスタを検出するための最適なが、計算的に非現実的な一般化尤度比検定（GSS）を導出する。
• GSSの緩和として、計算可能性を保証するための部分モジュラリティを用いたLovász拡張スキャン統計量（LESS）を導入する。
• LESSは逐次的な最小s-tカット問題を用いて計算され、多項式時間での計算が可能になる。
• 本手法はマルコフ確率場（MRF）における最大事後確率（MAP）推論と関連づけられ、確率的解釈が得られる。
• 第一種誤りの制御は、電気ネットワーク理論を用いて達成され、検定のしきい値がグラフカットの有効抵抗に関連づけられる。
• 理論的分析により、検出性能が有効抵抗と関連づけられ、リスクの一貫性および近似的最適性の保証が可能になる。

実験結果

リサーチクエスチョン

• RQ1 ガウスノイズ下でのグラフにおける密に接続された異常クラスタを検出するための、計算的に効率的な検定を開発できるか？
• RQ2 提案されたLESS手法は、既知の統計的下限と比較して近似的に最適な検出性能を達成するか？
• RQ3 有効抵抗といったグラフ理論的概念を用いて、LESSにおける第一種誤りを制御できるか？
• RQ4 適切な信号対雑音比（SNR）条件下で、LESS手法は理論的にリスクの一貫性を満たすか？
• RQ5 LESS手法はグラフカットアルゴリズムを用いて効率的に計算可能であり、MRF推論とどのように関連するか？

主な発見

• Lovász拡張スキャン統計量（LESS）は、さまざまなグラフモデルで近似的に最適な検出性能を達成し、既知の下限と対数要因を除いて一致する。
• l次元トーラスなどの辺推移的グラフでは、µ = ω(max{√(ρ/d log p), log p}) のとき、H0とH1を区別できる。
• k近傍グラフでk/p → 0かつk(k/p)²/D → ∞ のとき、µ = ω(max{√(ρ/k log p), log p}) のとき、LESSは異常を検出可能である。
• ǫグラフでǫ → 0かつnǫD+2 → ∞ のとき、µ = ω(max{√(ρ/(pǫD log p)), log p}) のとき、LESSは異常を検出可能である。
• 第一種誤りは、有効抵抗から導かれるしきい値を用いてαレベルで制御され、非現実的であるGSSと比較して性能の損失が最小限である。
• 実験結果では、トーラス、k-NN、ǫグラフモデルの全範囲で、LESSはスペクトルスキャン統計量やUSTウェーブレット検出器を上回るAUC性能を示した。