[論文レビュー] A linear time method for the detection of point and collective anomalies

Alexander T. M. Fisch, Idris Arthur Eckley+1 more|arXiv (Cornell University)|Jun 5, 2018

Advanced Statistical Methods and Models参考文献 34被引用数 20

ひとこと要約

本論文は、平均と分散の変化を統合的にモデル化することで、時系列データにおける点異常および集合的異常を線形時間で検出するCAPAというアルゴリズムを紹介する。理論的整合性と実験的効率性を達成し、特にケプラー系の系外惑星データにおける弱い惑星食の検出において、既存手法を上回る精度と速度を実現する。

ABSTRACT

The challenge of efficiently identifying anomalies in data sequences is an important statistical problem that now arises in many applications. Whilst there has been substantial work aimed at making statistical analyses robust to outliers, or point anomalies, there has been much less work on detecting anomalous segments, or collective anomalies, particularly in those settings where point anomalies might also occur. In this article, we introduce Collective And Point Anomalies (CAPA), a computationally efficient approach that is suitable when collective anomalies are characterised by either a change in mean, variance, or both, and distinguishes them from point anomalies. Theoretical results establish the consistency of CAPA at detecting collective anomalies and, as a by-product, the consistency of a popular penalised cost based change in mean and variance detection method. Empirical results show that CAPA has close to linear computational cost as well as being more accurate at detecting and locating collective anomalies than other approaches. We demonstrate the utility of CAPA through its ability to detect exoplanets from light curve data from the Kepler telescope.

研究の動機と目的

• 時系列データにおいて点異常と集合的異常を同時に検出する分野におけるギャップを埋める。
• 天文学的光曲線などの大規模データに適した計算効率の高い手法を開発する。
• 平均と分散の変化下でも集合的異常の検出に関して理論的整合性を保証する。
• ノイズの多い現実世界のデータにおける弱い信号（例：惑星食）の検出精度を向上させる。
• 周期性が事前に分かっていると仮定しない統一的なフレームワークを提供し、集合的異常と孤立した外れ値を区別する。

提案手法

• 平均と分散の変化を統合的にモデル化するペナルティ付きコストベースの手法CAPA（Collective And Point Anomalies）を提案する。
• 過学習を回避するため、log(n)^{1+δ}に比例するペナルティを組み込んだ修正コスト関数を用いた動的計画法を採用する。
• 平均と分散の推定に頑健な推定器を用い、パラメータ推定値に制約を課して安定性を確保する。
• 特に短いまたは単一の点異常に対して推定誤差とセグメント長バイアスを制御するため、補助的イベント（E8, E9）を導入する。
• イベント集合と集中不等式を用いた理論的整合性の証明により、有限標本における検出信頼性を確立する。
• 実用応用における柔軟性を高めるために、分散における長さ1のエピデミック変化を許容するようにアルゴリズムを適応させる。

実験結果

リサーチクエスチョン

• RQ1 最小限の計算コストで、点異常と集合的異常の両方を効率的に検出できる単一の手法は可能か？
• RQ2 ノイズの多い条件下で、平均および／または分散の変化を特徴とする集合的異常を、有限標本において一貫して検出できるか？
• RQ3 点異常の存在が集合的異常の検出に与える影響は何か？ 両者を効果的に分離する方法は何か？
• RQ4 ノイズの多い光曲線において、弱く一時的な信号（例：惑星食）を検出する際、この手法は高い精度を維持できるか？
• RQ5 log(n)^{1+δ}ペナルティを用いたペナルティ付きコストアプローチは、真の異常を検出する際に一貫性を保ち、誤検出を回避するか？

主な発見

• CAPAはほぼ線形の計算コストを達成しており、ケプラー光曲線の4000万件のような大規模データセットに対してもスケーラブルである。
• 特に信号対ノイズ比が低い状況下でも、既存手法と比較して集合的異常の検出と局所化において優れた精度を示す。
• CAPAと広く用いられるペナルティ付きコスト手法の両方について、理論的整合性が確立され、標本サイズが増加するにつれて信頼できる検出が保証されることが証明された。
• CAPAは、ノイズやグローバルな外れ値にかき消されやすい弱い信号を含むケプラー光曲線データからも、系外惑星の食を効果的に検出できた。
• 分散における長さ1のエピデミック変化を組み込むことで、検出の一貫性が損なわれず、現実世界のデータの複雑さに対してもロバスト性が向上した。
• 実験的結果から、点異常と集合的異常が同時に存在する状況においても、CAPAは標準的手法を上回る検出力と精度を示した。