[論文レビュー] Sequential change-point detection based on nearest neighbors

Hao Chen|arXiv (Cornell University)|Apr 12, 2016

Data-Driven Disease Surveillance参考文献 20被引用数 11

ひとこと要約

本稿では、ネットワークや画像配列などの多次元的・非ユークリッド的データに対して、k-最近傍（k-NN）を用いた非パrametricで逐次的な変化点検出フレームワークを提案する。最近の観測に基づく停止ルールを導入し、平均運行長（ARL）を解析的に近似することで、高次元設定下で尤度に基づく手法よりも優れた性能を示す。

ABSTRACT

We propose a new framework for the detection of change-points in online, sequential data analysis. The approach utilizes nearest neighbor information and can be applied to sequences of multivariate observations or non-Euclidean data objects, such as network data. Different stopping rules are explored, and one specific rule is recommended due to its desirable properties. An accurate analytic approximation of the average run length is derived for the recommended rule, making it an easy off-the-shelf approach for real multivariate/object sequential data monitoring applications. Simulations reveal that the new approach has better performance than likelihood-based approaches for high dimensional data. The new approach is illustrated through a real dataset in detecting global structural changes in social networks.

研究の動機と目的

• センサーネットワーク、ソーシャルネットワーク、画像ストリームなどの、逐次的な多次元的または非ユークリッド的データにおける急激な変化を検出する課題に対処すること。
• 特に高次元的または複雑なデータ設定において重要な、パラメトリックな分布仮定に依存しない非パラメトリックな手法を開発すること。
• 最小限のモデリング仮定で、リアルタイムのデータストリーム監視に実用的かつ計算効率の良いフレームワークを提供すること。
• 多様なデータタイプと次元において、低誤発見率を維持しながら高い検出パワーを発揮すること。
• 推奨される停止ルールの平均運行長（ARL）を正確に解析的に近似し、即時導入を可能にする。

提案手法

• データストリーム内の最近の観測間の局所的近傍構造をk-最近傍（k-NN）を用いて定義する。
• 潜在的な変化点時刻tを境に跨ぐk-NNエッジの数に基づく検定統計量を構築し、近傍接続性の不均衡を測定する。
• 最近のL観測に焦点を当て、時間経過に伴うクロスエッジの標準化されたカウントをモニタリングする停止ルールを定義する。
• 有限標本における精度を向上させるために、ARLの正規近似に歪度補正を適用する。
• 新しいデータが到着する度に逐次的に更新される動的グラフベースのスキャン統計量を用い、リアルタイム検出を可能にする。
• k-NNを主眼に置きつつ、最小全域木などの代替類似性グラフの可能性を検討する。

実験結果

リサーチクエスチョン

• RQ1 パラメトリック尤度に基づく手法と比較して、非パラメトリックかつk-NNベースの手法は、高次元的または非ユークリッド的データにおける変化点検出をより効果的に実現できるか？
• RQ2 kの選択とウィンドウサイズLの選定が、逐次的変化点検出における検出パワーと偽陽性率にどのように影響するか？
• RQ3 提案された停止ルールは、時間経過に伴い一貫した検出パワーを維持するか。早期または遅延検出を回避できるか？
• RQ4 有限標本において実用的導入に適した性能を示すために、平均運行長（ARL）の解析的近似を導出し、キャリブレーションできるか？
• RQ5 本手法は、分布の急激な変化と比較して、段階的変化の検出においてどの程度の性能を発揮するか？

主な発見

• 提案されたk-NNベースの手法は、正規性仮定が成り立たない高次元データにおいて、尤度に基づくパラメトリック手法を上回る性能を示す。
• 最近のL観測に基づく推奨される停止ルールは、時間経過に伴う性能劣化を回避し、一貫した検出パワーを維持する。
• 歪度補正を施したARLの解析的近似は、中程度の標本サイズに対しても正確なARL推定を提供する。
• L=200、k=5で1000次元の平均値の変化を想定した場合、20時間単位の段階的変化を検出する際のパワーは64％に達し、急激な変化の際のパワーの約80％を維持する。
• 本手法は、実社会的ネットワークデータセットにおいても、コミュニティ構造の時間的変化を意味的に明らかにしたグローバル構造的変化を効果的に検出できた。
• ネットワークデータへの適用可能性と、最小全域木などの他の類似性グラフへの潜在的拡張可能性を通じて、非ユークリッド的データに対してもロバストであることが示された。