[論文レビュー] Pattern and Anomaly Detection in Urban Temporal Networks

Mingyi He, Shivam Pathak+5 more|arXiv (Cornell University)|Nov 25, 2019

Anomaly Detection Techniques and Applications参考文献 38被引用数 6

ひとこと要約

本論文は、都市時間的ネットワークにおける異常検出のための3段階パイプラインを提案する。コミュニティ検出によるネットワーク集約、次元削減のための主成分分析（PCA）、クラスタリングベースの外れ値検出のためのガウス混合モデル（GMM）を組み合わせたものである。ニューヨーク市タクシーおよび台北市地下鉄のデータを用いた評価において、本手法は優れたAUROCスコア（ニューヨークで0.95、台北で0.93）を達成し、時間系列ベースおよびノード単位の集約手法と比較して、トポロジカル構造を保持し、局所的異常を検出できる点で優れている。

ABSTRACT

Broad spectrum of urban activities including mobility can be modeled as temporal networks evolving over time. Abrupt changes in urban dynamics caused by events such as disruption of civic operations, mass crowd gatherings, holidays and natural disasters are potentially reflected in these temporal mobility networks. Identification and early detecting of such abnormal developments is of critical importance for transportation planning and security. Anomaly detection from high dimensional network data is a challenging task as edge level measurements often have low values and high variance resulting in high noise-to-signal ratio. In this study, we propose a generic three-phase pipeline approach to tackle curse of dimensionality and noisiness of the original data. Our pipeline consists of i) initial network aggregation leveraging community detection ii) unsupervised dimensionality reduction iii) clustering of the resulting representations for outlier detection. We perform extensive experiments to evaluate the proposed approach on mobility data collected from two major cities, New York City and Taipei. Our results empirically prove that proposed methodology outperforms traditional approaches for anomaly detection. We further argue that the proposed anomaly detection framework is potentially generalizable to various other types of temporal networks e.g. social interactions, information propagation and epidemic spread.

研究の動機と目的

• 高次元的かつノイジーな都市時間的ネットワークにおける異常イベント検出の課題に対処すること。
• 従来の時間系列およびノード単位の集約手法が構造的および局所的パターン情報を失うという限界を克服すること。
• ラベルなしデータに依存せずに、イベント異常（通常パターンから逸脱する全体のネットワーク状態）を検出可能な汎用的フレームワークを構築すること。
• コミュニティ検出、次元削減、クラスタリングの組み合わせが、異常検出に向けた意味のあるネットワークダイナミクスを捉えるのにどの程度有効であるかを評価すること。
• 本手法の多様な都市地理的環境および移動データソース（例：タクシーと地下鉄ネットワーク）にわたるロバスト性を実証すること。

提案手法

• トポロジカルおよび構造的パターンを保持しながら、ネットワークの粗粒度化を図るコミュニティ検出を用いた初期ネットワーク集約。
• 不確実性の低減と高次元的集約表現の処理を目的とした、主成分分析（PCA）を用いた教師なし次元削減。
• 低次元表現のクラスタリングをガウス混合モデル（GMM）で行い、尤度スコアを割り当て、低尤度（異常）のネットワーク状態を特定する。
• 顕著に低い尤度スコアを持つネットワーク状態を異常とみなして外れ値検出を行う。
• 複数のパイプライン構成（IO+PCA、Comm+PCA、IO+AE、Comm+AE、およびベースライン時間系列集約）の比較。
• 異常閾値の変動に応じた性能評価のため、主評価指標としてAUROCを用いる。

実験結果

リサーチクエスチョン

• RQ1 コミュニティ検出、次元削減、クラスタリングを組み合わせた3段階パイプラインは、従来の集約ベース手法と比較して、都市時間的ネットワークにおける異常検出をより効果的に行えるか？
• RQ2 集約段階でトポロジカル構造を保持することで、ノード単位またはシステム全体の集約と比較して、異常検出性能にどのような影響を与えるか？
• RQ3 本異常検出タスクにおいて、PCAは自己符号化器（AE）を上回る性能を示すか？
• RQ4 本パイプラインは、タクシー網や地下鉄網など、異なる都市および移動データタイプにわたってどの程度一般化可能か？
• RQ5 パイプラインの各段階が、特に局所的異常とグローバル異常の両方を特定する上で、全体の検出性能にどの程度寄与しているか？

主な発見

• 提案されたパイプライン（Comm + PCA）は、ニューヨーク市でAUROC 0.95、台北市で0.93を達成し、時間系列ベースライン（それぞれ0.70および0.53）を顕著に上回った。
• すべてのパイプライン構成、特に次元削減を含むものにおいて、ベースライン時間系列手法を上回った。時間系列手法は構造的情報の喪失により、局所的異常を検出できなかった。
• コミュニティ検出に基づく集約（Comm）は、ノード単位の集約（IO）よりも優れた結果を示した。これは、構造的パターンと接続性を保持できたためであり、IOは局所的フローの変化のみを捉えていた。
• PCAは次元削減において一貫して自己符号化器を上回ったが、台北のIO+AE構成を除き、非線形手法がこのデータサイズおよび構造には有益でない可能性を示唆した。
• 3段階パイプラインは不可欠であった。集約と次元削減の両方が重要であり、2段階アプローチ（例：IO+PCA）は完全なパイプラインに比べて性能が劣った。
• 本手法は、地理的にも構造的にも異なる都市にわたり強い汎用性を示した。これは、社会的、情報的、疫学的ダイナミクスにおける時間的ネットワークへの広範な応用可能性を示唆している。