[論文レビュー] Anomaly Detection in Dynamic Networks of Varying Size

Timothy La Fond, Jennifer Neville+1 more|arXiv (Cornell University)|Nov 13, 2014

Complex Network Analysis Techniques参考文献 13被引用数 7

ひとこと要約

本稿では、ネットワークエッジ数の変化に対して不変である密度一貫性統計（マスシフト、ディグリー・シフト、トライアングル確率）を提案し、サイズが変動する動的ネットワークにおける正確な異常検出を可能にする。エッジ数の変動と構造的変化を分離することで、真の行動的シフトの検出を向上させ、合成テストでは再現率が20–400%向上し、電子メールおよびソーシャルネットワークデータにおいてこれまで見過ごされていた実世界の出来事も特定した。

ABSTRACT

Dynamic networks, also called network streams, are an important data representation that applies to many real-world domains. Many sets of network data such as e-mail networks, social networks, or internet traffic networks are best represented by a dynamic network due to the temporal component of the data. One important application in the domain of dynamic network analysis is anomaly detection. Here the task is to identify points in time where the network exhibits behavior radically different from a typical time, either due to some event (like the failure of machines in a computer network) or a shift in the network properties. This problem is made more difficult by the fluid nature of what is considered "normal" network behavior. The volume of traffic on a network, for example, can change over the course of a month or even vary based on the time of the day without being considered unusual. Anomaly detection tests using traditional network statistics have difficulty in these scenarios due to their Density Dependence: as the volume of edges changes the value of the statistics changes as well making it difficult to determine if the change in signal is due to the traffic volume or due to some fundamental shift in the behavior of the network. To more accurately detect anomalies in dynamic networks, we introduce the concept of Density-Consistent network statistics. On synthetically generated graphs anomaly detectors using these statistics show a a 20-400% improvement in the recall when distinguishing graphs drawn from different distributions. When applied to several real datasets Density-Consistent statistics recover multiple network events which standard statistics failed to find.

研究の動機と目的

• エッジ数が時間とともに変動する動的ネットワークにおいて、真の構造的異常を検出する課題に対処すること。
• 従来のネットワーク統計（例：クラスタリング係数、次数分布）が密度に依存することを特定し、ネットワークサイズの変動がある場合に異常検出に信頼性が欠けること。
• エッジ数の変化に対して不変である、原理的かつ整合性のあるネットワーク統計のフレームワークを構築すること。
• 理論と実験を通じて、密度一貫性統計が意味のある構造的シフトの検出において、密度依存統計を上回ることを示すこと。
• エッジ数の合計ではなくエッジ分布の変化に注目することで、通信の急増や行動の変化といった重要なネットワークイベントの検出を可能にすること。

提案手法

• エッジ数の均一なスケーリングに対して不変であることを保証する性質として、密度一貫性を定義する。
• 3つの新しい統計量を提案：マスシフト（エッジ分布の変化を測定）、ディグリー・シフト（次数分布の変化を測定）、トライアングル確率（局所的クラスタリング確率の変化を測定）。
• 各統計量をエッジ数に依存しない正規化された測度として定式化し、エッジの確率分布の変化を反映させる。
• 通常の時間ステップから構築した帰無分布を用いた仮説検定により、検定統計量が著しく逸脱した場合に異常を特定する。
• 部分グラフ分解を用いて、異常な時間ステップにおける最も変化の大きいネットワーク構成要素を同定し、局所的構造的変化に焦点を当てる。
• 合成グラフ（既知の分布シフトを有する）と実世界データ（Enron電子メール、学生のFacebookグループ、大学のFacebookグループ）を用いて性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 ネットワークのエッジ数が時間とともに変動する場合、従来のネットワーク統計はどれほど異常検出に失敗するか？
• RQ2 エッジ数の変化に対して不変でありながら、意味のある構造的シフトを捉えることができるネットワーク統計を設計できるか？
• RQ3 合成および実世界の動的ネットワークにおいて、密度一貫性統計は密度依存統計よりも、既知の異常をどれほど効果的に検出できるか？
• RQ4 密度一貫性統計は、異常な時間ステップにおいて急激な構造的変化を受けていたサブグラフを、よりよく特定できるか？
• RQ5 これらの統計は、標準的な異常検出手法が見過ごす、季節的活動や通信の急増といった実世界のネットワークイベントを回復できるか？

主な発見

• 密度一貫性統計（マスシフト、ディグリー・シフト、トライアングル確率）は、ネットワークのエッジ数の変化に対して不変であることが証明され、さまざまなネットワークサイズでも安定した測定が可能である。
• 合成実験では、分布シフトを検出する際、密度一貫性統計を用いた異常検出器は、従来の密度依存統計を用いたものと比較して再現率が20–400%向上した。
• 実世界のデータセットでは、密度一貫性統計が学期の開始、休暇、春休みといった主要なネットワークイベントを検出できたが、密度依存統計は主にエッジ数の変化によって時間ステップを誤ってフラグ付けしていた。
• サブグラフ分析の結果、密度一貫性統計で検出された異常は、新たな通信パターンなど顕著な局所的構造的変化を示していたのに対し、密度依存統計がフラグ付けしたものは最小限の局所的変化にとどまっていた。
• 密度依存統計がフラグ付けしたが密度一貫性統計ではフラグ付けされなかった時間ステップは、主にグローバルなエッジ数の変動に起因しており、実際のネットワーク構造の行動的シフトとは無関係であった。
• 提案された統計量は、エッジ確率の変化が著しいサブグラフを的確に特定でき、大規模で動的なネットワーク内での局所的異常の検出能力を確認した。