[論文レビュー] Anomaly detection in the dynamics of web and social networks

Volodymyr Miz, Benjamin Ricaud+2 more|arXiv (Cornell University)|Jan 22, 2019

Complex Network Analysis Techniques被引用数 4

ひとこと要約

本稿では、動的ウェブおよびソーシャルネットワークにおける局所的異常を、ホフリードネットワークを用いて時間的活動パターンをモデル化することで、教師なしでスケーラブルに検出する手法を提案する。このアプローチは、ウィキペディアやエンロンメールデータセットにおいて、シャルル・ベドー攻撃や企業関連の出来事といった現実世界の出来事も高精度に同定でき、部分的な信号からの記憶に類似した再構成によって、耐障害性と解釈可能性を示した。

ABSTRACT

In this work, we propose a new, fast and scalable method for anomaly detection in large time-evolving graphs. It may be a static graph with dynamic node attributes (e.g. time-series), or a graph evolving in time, such as a temporal network. We define an anomaly as a localized increase in temporal activity in a cluster of nodes. The algorithm is unsupervised. It is able to detect and track anomalous activity in a dynamic network despite the noise from multiple interfering sources. We use the Hopfield network model of memory to combine the graph and time information. We show that anomalies can be spotted with a good precision using a memory network. The presented approach is scalable and we provide a distributed implementation of the algorithm. To demonstrate its efficiency, we apply it to two datasets: Enron Email dataset and Wikipedia page views. We show that the anomalous spikes are triggered by the real-world events that impact the network dynamics. Besides, the structure of the clusters and the analysis of the time evolution associated with the detected events reveals interesting facts on how humans interact, exchange and search for information, opening the door to new quantitative studies on collective and social behavior on large and dynamic datasets.

研究の動機と目的

• ノードの活動が通常のパターンから逸脱する、大規模かつ時間的に変化するネットワークにおける、局所的かつ集団的異常を検出する課題に対処すること。
• ネットワークのトポロジーと時間的ダイナミクスを同時にモデル化することで、グラフベースの異常検出と空間的・時間的データマイニングを統合すること。
• 単なるラベルを超えた、豊富で解釈可能な空間的・時間的指標を提供し、ドメインエキスパートが集団的行動を調査できるようにすること。
• エキスパートの知識を用いて非異常データを事前にフィルタリングする「潜在的異常」という概念を導入することで、スケーラビリティを向上させること。
• 異常検出と記憶の想起の類似性を探索し、不完全またはノイズ混じりの入力からも完全な異常イベントを回復可能にする仕組みを実現すること。

提案手法

• 動的ネットワークを、ノードが時系列属性（例：ページビュー数やメール送信数）を持つ属性付きグラフとしてモデル化し、グラフ構造によってエンティティ間の関係を表現する。
• ホフリードネットワークを用いて、時間的活動パターンを記憶状態として符号化し、異常な集団的行動を学習・想起できるようにする。
• 異常は、接続されたノードクラスタ全体での活動の局所的増加として検出され、ホフリードネットワーク内のエネルギーの反復的最小化によって特定される。
• 計算を異常を含む可能性の高い領域に制限するため、「潜在的異常」という概念を導入し、スケーラビリティを顕著に向上させる。
• Apache Spark GraphX を用いた分散処理実装により、ウィキペディアやエンロンメールログのような大規模データセットの処理が可能になった。
• 部分的なノード活動からも、完全な異常イベントを再構成することで、記憶の回復を模倣した、不完全な入力からの復元を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ノードの活動が複雑かつ非同時的に変化する大規模で時間的に変化するネットワークにおいて、どのように局所的かつ集団的異常を検出できるか？
• RQ2 ホフリードネットワークは、動的ネットワークデータから空間的・時間的異常パターンを効果的に学習・想起できるか？
• RQ3 不完全またはノイズ混じりの入力から、どの程度完全な異常イベントを回復できるか（記憶想起を模倣して）？
• RQ4 検出された異常は現実世界の出来事とどのように関連しており、集団的行動に関するどのようなインサイトを提供するか？
• RQ5 「潜在的異常」という概念は、大規模な動的グラフにおける検出精度を損なわせることなく、スケーラビリティを向上させられるか？

主な発見

• 本手法は、シャルル・ベドー攻撃に関連するウィキペディアのページビューの異常な増加を成功裏に検出。関連記事のクラスタが同期的に活動の急増を示した。
• エンロンメールデータセットにおいて、主要な企業イベントの時期に、特定の従業員グループのメール交換が急増していることを同定。実際の組織的ダイナミクスと整合していた。
• ホフリードネットワークモデルは強力な想起能力を示し、活性化したノードの20％からの入力でも、イベント期間中に最小限の再構成誤差で完全な異常イベントを再構成できた。
• イベントの境界外の活動は忘れられ、関連性があり因果的に関連した信号のみを捕捉していることが確認され、ノイズの低減と解釈可能性の向上が達成された。
• ハイパーパrameterのチューニングに対して高いロバストネスを示し、実世界での導入に実用的であることが示された。
• 学習されたネットワーク構造は、人工的集団記憶として機能し、トピックと出来事の関連性を記憶・再取得可能であり、人間の記憶システムとの深い類似性を示唆している。