[論文レビュー] Detecting weak changes in dynamic events over networks

Shuang Li, Yao Xie+3 more|arXiv (Cornell University)|Mar 29, 2016

Anomaly Detection Techniques and Applications参考文献 41被引用数 7

ひとこと要約

本稿では、逐次仮説検定とポイント過程モデルを用いて、ネットワーク上の多次元イベントストリームに対して、新しいオンラインの変化点検出フレームワークを提案する。パラメータフリーで分散型のEMに類似したアルゴリズムを導入し、尤度比を効率的に計算することで、理論的ARL近似を用いた正確な誤検出率制御を達成し、実世界のTwitterおよびMemetrackerデータセットにおける弱い信号の検出において優れた性能を示す。

ABSTRACT

Large volume of networked streaming event data are becoming increasingly available in a wide variety of applications, such as social network analysis, Internet traffic monitoring and healthcare analytics. Streaming event data are discrete observation occurred in continuous time, and the precise time interval between two events carries a great deal of information about the dynamics of the underlying systems. How to promptly detect changes in these dynamic systems using these streaming event data? In this paper, we propose a novel change-point detection framework for multi-dimensional event data over networks. We cast the problem into sequential hypothesis test, and derive the likelihood ratios for point processes, which are computed efficiently via an EM-like algorithm that is parameter-free and can be computed in a distributed fashion. We derive a highly accurate theoretical characterization of the false-alarm-rate, and show that it can achieve weak signal detection by aggregating local statistics over time and networks. Finally, we demonstrate the good performance of our algorithm on numerical examples and real-world datasets from twitter and Memetracker.

研究の動機と目的

• ネットワーク上の高次元で非同期なイベントストリームにおいて、時間的・空間的にクラスタリングされた弱い変化を検出する課題に対処すること。
• 大規模ネットワークにおける検出統計量のオンライン更新を、計算的に効率的かつ分散型に実現するアルゴリズムを開発すること。
• ネットワーク化されたイベントデータにおける変化点検出の誤検出率を理論的に裏付けられた形で特徴づけること。
• リアルタイムストリーミングデータにおいて、異常、流行、トレンドトピック、または緊急報道を早期に検出できること。
• i.i.d.モデルや時系列モデルの限界を克服し、イベントデータにおける時間的および次元間の依存関係を捉えること。

提案手法

• 変化点検出を、変化前の後でのポイント過程モデルを用いた逐次仮説検定として定式化する。
• ノード間の自己励起および相互励起を捉えるために、ネットワーク化されたハーケス過程を用いてイベントダイナミクスをモデル化する。
• ポイント過程の強度関数における変化を検出するための尤度比統計量を導出する。
• パrameterチューニングを必要とせず、分散的に効率的に尤度比統計量を計算するEMに類似したアルゴリズムを採用する。
• 平均運転長（ARL）の理論的近似を用いて、誤検出率を正確に制御する。
• 時間的およびネットワークノード全体にわたる局所統計量の集約により、弱い信号の検出感度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 時間的にクラスタリングされ、信号が希なネットワーク上での動的イベントストリームにおいて、微細で弱い変化をどのように検出できるか？
• RQ2 高速度のイベントデータに対して、リアルタイムで検出統計量を効率的に更新できるスケーラブルで分散型のアルゴリズムをどのように設計できるか？
• RQ3 ネットワーク化されたポイント過程における変化点検出統計量の誤検出率を理論的にどのように特徴づけられるか？
• RQ4 時間的およびネットワーク全体の集約は、弱い信号の検出感度をどの程度向上できるか？
• RQ5 本手法は、緊急報道やトレンドトピックといった実世界の出来事の検出において、既存のベースライン手法を上回ることができるか？

主な発見

• 提案手法は、Twitterの実データにおいても、『Mr. Robot』のゴールデン・グローブ受賞やシュレシュ・レインァのクリケット戦など、高精度な時間的分解能で変化点を検出できた。
• Memetrackerデータセットにおいては、オバマ大統領の選挙、イスラエルの停戦合意、北京オリンピックといった主要な出来事に対応する変化点を正確に同定し、ピークに達する2〜3日前に変化を検出できた。
• 理論的ARL近似により、誤検出率を非常に正確に制御でき、高価なモンテカルロシミュレーションへの依存を大幅に削減した。
• EMに類似したアルゴリズムにより、尤度比の効率的で分散型の計算が可能となり、大規模ネットワークへのスケーラビリティを実現した。
• 時間的およびネットワーク全体の統計量集約を活用することで、弱い信号の検出において2つのベースライン手法を上回った。
• 実験的結果から、信号が希でノード間で同期しない状況下でも、変化点を検出できることを示し、弱い信号条件においても高いロバスト性を示した。