[論文レビュー] A Comparative Study on Unsupervised Anomaly Detection for Time Series: Experiments and Analysis

Yan Zhao, Liwei Deng+8 more|arXiv (Cornell University)|Sep 10, 2022

Anomaly Detection Techniques and Applications被引用数 4

ひとこと要約

本稿では、非教師あり時系列異常検出手法に関する包括的な比較研究を提示し、データ、手法、評価戦略のための統一的分類体系を導入している。標準化された実装と指標を用いて、9つの公開データセット上で最先端の従来的手法およびディープラーニング手法を評価し、実世界への適用に向けた根拠に基づく手法選定ガイドラインを提供するとともに、多様な応用環境における主要なパフォーマンストレンドを同定している。

ABSTRACT

The continued digitization of societal processes translates into a proliferation of time series data that cover applications such as fraud detection, intrusion detection, and energy management, where anomaly detection is often essential to enable reliability and safety. Many recent studies target anomaly detection for time series data. Indeed, area of time series anomaly detection is characterized by diverse data, methods, and evaluation strategies, and comparisons in existing studies consider only part of this diversity, which makes it difficult to select the best method for a particular problem setting. To address this shortcoming, we introduce taxonomies for data, methods, and evaluation strategies, provide a comprehensive overview of unsupervised time series anomaly detection using the taxonomies, and systematically evaluate and compare state-of-the-art traditional as well as deep learning techniques. In the empirical study using nine publicly available datasets, we apply the most commonly-used performance evaluation metrics to typical methods under a fair implementation standard. Based on the structuring offered by the taxonomies, we report on empirical studies and provide guidelines, in the form of comparative tables, for choosing the methods most suitable for particular application settings. Finally, we propose research directions for this dynamic field.

研究の動機と目的

• データ、手法、評価の多様性が散逸していることによる、非教師あり時系列異常検出分野における体系的で公平な比較の不足に対処すること。
• 時系列データ、異常検出手法、評価戦略のための標準化された分類体系を構築し、一貫性のあるベンチマーク評価を可能にすること。
• 統一された実装フレームワーク下で、最先端の従来的手法およびディープラーニング手法を体系的に実証的に評価すること。
• 特定の応用環境に基づいて最適な手法を選定するためのデータ駆動型比較表と実用的ガイドラインを提供すること。
• 非教師あり時系列異常検出分野における未解決の課題を同定し、今後の研究方向性を提案すること。

提案手法

• 著者らは、分野、時間分解能、ノイズレベルなどの特徴をカバーする、時系列データの多次元的分類体系を設計した。
• 異常検出手法を従来的手法（例：統計的手法、再構成ベース）とディープラーニングベース（例：オートエンコーダ、LSTMベースのモデル）に分類した。
• すべての手法が、共通のハイパーパramータと訓練手順を用いて、すべてのデータセットで一貫して実装されるよう、標準化された評価プロトコルを確立した。
• AUC-ROC、F1スコア、精度-再現率といった広く採用された指標を用い、すべての手法とデータセットに対して一様に性能を測定した。
• エネルギー、ファイナンス、システム監視など多様な分野をカバーする9つの公開時系列データセットを用い、広範な適用可能性を確保した。
• 構造化された表と可視化を用いた比較分析により、異なるデータおよび問題特性における手法のパフォーマンスを強調した。

実験結果

リサーチクエスチョン

• RQ1 標準化された評価下で、多様な時系列データセットにおいて、どの非教師あり異常検出手法が最も優れた性能を示すか？
• RQ2 ノイズレベル、長さ、分野といった異なるデータ特性において、手法のパフォーマンスとロバストネスはどのように変化するか？
• RQ3 実世界の環境において、従来的手法とディープラーニングベース手法の相対的な長所と短所は何か？
• RQ4 異なる評価指標どうしがどの程度相関しているか、そして手法選定に最も信頼性が高いのはどれか？
• RQ5 特定の応用制約やデータ特性に基づいて、最も適した手法を選定するための実用的ガイドラインは何か？

主な発見

• オートエンコーダーの変種を含むディープラーニングベースの手法は、複雑で高次元の時系列データにおいて、一貫して従来の統計的手法を上回る性能を示した。
• すべての手法のパフォーマンスは、ノイズレベルや時間分解能といったデータ特性に極めて敏感であり、ノイズが多いか不規則にサンプリングされた系列ではAUC-ROCが著しく低下した。
• 変分オートエンコーダ（VAEs）やノイズ除去オートエンコーダ（DAEs）を含む再構成ベースのモデルは、特にデータがスパースまたは外れ値を含む場合に、多様なデータセットで優れた一般化性能を示した。
• イソレーションフォレストやワンクラスSVMといった従来手法は、低次元でクリアな時系列データでは競争力のある性能を示したが、高次元または長時間系列データでは著しく性能が低下した。
• AUC-ROCとF1スコアといった評価指標は、しばしば相反する順位付けを示し、アプリケーション固有のニーズに合った指標選定の重要性を浮き彫りにした。
• 先行研究における再現性の欠如は、実装やハイパーパramータの選択が一貫していなかったことによるものであり、標準化されたベンチマークの必要性を強調した。