[論文レビュー] Unsupervised Model Selection for Time-series Anomaly Detection

Mononito Goswami, Cristian Challú+3 more|arXiv (Cornell University)|Oct 3, 2022

Anomaly Detection Techniques and Applications被引用数 8

ひとこと要約

本稿では、ラベルなしの異常検出データに対して、予測誤差、モデル中央性、および注入された合成異常における性能の3つのクラスの代替指標を活用して、ラベルなしの異常を必要とせずに候補モデルをランク付けする非教師付きモデル選択フレームワークを提案する。この手法は、Empirical Influence（EI）を用いた頑健な順位集約により、不完全な指標を組み合わせ、275の多様な時系列データセットにおいて部分的にラベル付けされたデータを用いたモデル選択と同等の性能を達成する。

ABSTRACT

Anomaly detection in time-series has a wide range of practical applications. While numerous anomaly detection methods have been proposed in the literature, a recent survey concluded that no single method is the most accurate across various datasets. To make matters worse, anomaly labels are scarce and rarely available in practice. The practical problem of selecting the most accurate model for a given dataset without labels has received little attention in the literature. This paper answers this question i.e. Given an unlabeled dataset and a set of candidate anomaly detectors, how can we select the most accurate model? To this end, we identify three classes of surrogate (unsupervised) metrics, namely, prediction error, model centrality, and performance on injected synthetic anomalies, and show that some metrics are highly correlated with standard supervised anomaly detection performance metrics such as the $F_1$ score, but to varying degrees. We formulate metric combination with multiple imperfect surrogate metrics as a robust rank aggregation problem. We then provide theoretical justification behind the proposed approach. Large-scale experiments on multiple real-world datasets demonstrate that our proposed unsupervised approach is as effective as selecting the most accurate model based on partially labeled data.

研究の動機と目的

• ラベルなしの時系列データセットに対して最も正確な異常検出モデルを選択するという実用的課題に対処すること。
• 実世界の応用において希少かつ高コストな異常ラベルの欠如を克服すること。
• ラベルなしデータのみを用いて、信頼性の高い非教師付き手法で候補モデルをランク付けすること。
• 代替指標が、F1スコアなどの教師あり性能指標を効果的に近似できることを示すこと。
• 理論的裏付けがあり、頑健な順位集約手法を提供すること。

提案手法

• 予測誤差（再構成誤差）、モデル中央性（Bordaカウントに基づく）、および合成異常における性能の3つのクラスの非教師付き代替指標を特定する。
• 各代替指標に基づいてモデルの順位付けを行い、それぞれをモデル性能の順列とみなす。
• Empirical Influence（EI）を用いた頑健な順位集約手法を適用し、複数の順位付けを1つの安定したモデル選択順序に統合する。
• Kemeny-Young問題における中央順列の代理としてBordaカウントを用いることで、順位集約の安定性を向上させる。
• 入力順位付けからの平均Kendall tau距離を最小化する形で順位集約を形式化し、EIは各順位付けの影響を測定する。
• 理論的裏付けにより、EIが信頼性の低い指標を特定し、特に1つ以上の不完全な順位付けがある状況でもその影響を低減できることを示す。

実験結果

リサーチクエスチョン

• RQ1 ラベルなしの状況下で、非教師付き代替指標が、F1スコアなどの標準的な教師あり異常検出性能（例：F1スコア）と強く相関するか？
• RQ2 複数の不完全な代替指標をどのように組み合わせて信頼性の高いモデル選択順位を生成できるか？
• RQ3 提案された頑健な順位集約手法は、実際の応用において部分的ラベル付けに基づく選択を上回るか、同等の性能を示すか？
• RQ4 予測誤差、中央性、合成異常の各代替指標クラスは、モデル選択の正確性にどのように寄与するか？
• RQ5 この手法は、異なる分野から得られた多様な実世界の時系列データセットに一般化可能か？

主な発見

• 提案された非教師付きモデル選択手法は、部分的にラベル付けされたデータセットを用いた最良モデル選択と同等の性能を達成する。
• 予測誤差や注入された合成異常における性能といった代替指標は、F1スコアと強い相関を示すが、モデル中央性は安定した順位集約を提供する。
• Empirical Influence（EI）は、信頼性の低い順位付けを効果的に特定し、特に1つの指標が著しく不正確である場合にその影響を低減する。
• この手法は、医学、スポーツ、昆虫学をカバーする10の多様な実世界のデータセットに一般化可能であり、5,000を超えるモデルが評価された。
• 理論的分析により、EIが不完全な指標に対して頑健であり、中央順列に近い順位付けを優遇することが確認された。
• 集約手法の耐性のおかげで、個々の指標がノイズが多いか部分的に相関している場合でも、この手法は有効に機能する。