[論文レビュー] Gaussian Process Subset Scanning for Anomalous Pattern Detection in Non-iid Data

William Herlands, Edward McFowland+2 more|arXiv (Cornell University)|Apr 4, 2018

Anomaly Detection Techniques and Applications参考文献 22被引用数 11

ひとこと要約

本稿では、従来の条件付き独立性の仮定を必要としない新しい対数尤度比統計量を用いて、ガウス過程（GP）と組み合わせることで、相関のある時空間的データにおける不規則的で非i.i.d.な異常パターンを検出するためのガウス過程サブセットスキャン（GPSS）およびガウス過程ネighborhoodスキャン（GPNS）を提案する。この手法により、複数のデータストリームにわたる微細で集団的な異常を強力かつ解釈可能に検出でき、オピオイド関連死亡、311通報、学校欠席率といった実世界のデータセットにおいて、ベースライン手法を上回る性能を発揮する。

ABSTRACT

Identifying anomalous patterns in real-world data is essential for understanding where, when, and how systems deviate from their expected dynamics. Yet methods that separately consider the anomalousness of each individual data point have low detection power for subtle, emerging irregularities. Additionally, recent detection techniques based on subset scanning make strong independence assumptions and suffer degraded performance in correlated data. We introduce methods for identifying anomalous patterns in non-iid data by combining Gaussian processes with novel log-likelihood ratio statistic and subset scanning techniques. Our approaches are powerful, interpretable, and can integrate information across multiple data streams. We illustrate their performance on numeric simulations and three open source spatiotemporal datasets of opioid overdose deaths, 311 calls, and storm reports.

研究の動機と目的

• 独立同一分布（i.i.d.）データを仮定する従来の異常検出手法の限界に対処すること。これは、相関のある現実世界のシステムにおいて高い誤検出率を引き起こす。
• 個々の点の異常度が低いため、個々の点の外れ値検出では検出できない微細で集団的な異常パターンを検出すること。
• 強い独立性仮定に依存せずに、複雑な相関構造を持つデータにおいて不規則な形状・不連続な異常サブセットを同定できる手法を開発すること。
• ガウス過程による正規的ダイナミクスと局所的異常パターンのモデリングを通じてドメイン知識を統合し、解釈可能で政策的意義のある異常検出を可能にすること。
• 反復的および一般化されたレイリー商最適化を用いて、非i.i.d.データにおけるNP困難なサブセットスキャン問題をスケーラブルかつ原理的（principled）に解くアルゴリズムを提供すること。

提案手法

• 従来のサブセットスキャンが仮定する条件付き独立性を排除し、ガウス過程（GP）モデリングを用いて共分散構造を考慮する新しい対数尤度比（LLR）統計量を提案。
• 異常からの汚染を避けるために、ホールドアウトGP推論を用いて帰無仮説モデル（正規的ダイナミクス）を推定し、ラベルなしの異常データにおいてもロバスト性を確保。
• GP構造を持つLLRに基づく条件付き最適係数β*を用い、逐次的にサブセット所属を更新することで最適なサブセットを近似する反復的アルゴリズムを適用。
• 空間的に連続する領域などのブロックを用いた制約付き最適化の変種を導入し、構造的事前知識を組み込む。オフディアゴナル共分散項を考慮した修正版βMAX式を提案。
• 一般化されたレイリー商（GRQ）を代替最適化戦略として採用し、数学的に根拠のある方法で高得点サブセットを同定。
• GPモデリングとサブセットスキャンを統合し、潜在的な共分散構造と異常サブセットを同時に学習することで、時間的・空間的・マルチストリームデータにおける不規則な形状のパターン検出を可能にする。

実験結果

リサーチクエスチョン

• RQ1 条件付き独立性を仮定しないで、非i.i.d.データにおける異常パターンを検出可能な新しい対数尤度比統計量を設計できるか？
• RQ2 ガウス過程モデリングをサブセットスキャンと統合することで、相関のあるデータにおける微細で集団的な異常パターンの検出パワーを向上させられるか？
• RQ3 反復的および一般化されたレイリー商最適化戦略は、高次元で相関のあるデータにおける最も異常なサブセットを求めるNP困難問題を効果的に近似できるか？
• RQ4 提案手法であるGPベースのサブセットスキャン手法は、多様で複雑な実世界データセットにおける異常検出において、ベースライン手法と比較してどのように優れているか？
• RQ5 この手法は、ドメインエキスパートの理解と整合する解釈可能で政策的意義のある異常検出をどの程度実現できるか？

主な発見

• GPSSおよびGPNS手法は、2016年1月～2月にかけてのマンハッタン西部における学校欠席率データにおいて、一貫性のある異常パターンを検出できたが、ベースライン手法では検出されなかった。
• 検出された異常は、公式に雪の日を宣言していなかったにもかかわらず、交通に深刻な影響を及えたカテゴリー5の blizzard（暴風雪）に起因しており、個々の点の検出では捉えきれない包括的影響を示している。
• ベースラインの異常検出手法は一貫性のある異常を検出できず、年間を通じて散在的かつ一貫性のない検出結果を示しており、i.i.d.に基づくアプローチの限界を浮き彫りにしている。
• GPSS手法は、オピオイド関連死亡、311通報、嵐報告といったシミュレーテッドデータおよび実世界データにおいて、複雑な相関構造と不規則なパターンをモデル化することで高い検出パワーを発揮した。
• 反復的およびGRQに基づく最適化戦略は、NP困難なサブセットスキャン問題に対するスケーラブルで効果的な解決策を提供し、実世界データへの実用的応用を可能にした。
• ドメインエキスパートがGPで学習された正規的ダイナミクスと局所的異常領域を検証・理解できるようにすることで、本手法は強力な解釈可能性を示した。