[論文レビュー] TiSAT: Time Series Anomaly Transformer

Keval Doshi, Shatha Abudalou+1 more|arXiv (Cornell University)|Mar 10, 2022

Anomaly Detection Techniques and Applications被引用数 4

ひとこと要約

本稿では、不均衡な評価指標の問題を解消するために、検出の早期性と正確性を測る新しいSPD指標を導入した自己注意型トランスフォーマー手法TiSATを提案する。TiSATは、漸近的誤報率解析に基づく閉形式のしきい値を用い、ベンチマークデータセット上で最先端手法を上回る性能を示しており、修正された指標で評価された際の優れた性能を実証している。

ABSTRACT

While anomaly detection in time series has been an active area of research for several years, most recent approaches employ an inadequate evaluation criterion leading to an inflated F1 score. We show that a rudimentary Random Guess method can outperform state-of-the-art detectors in terms of this popular but faulty evaluation criterion. In this work, we propose a proper evaluation metric that measures the timeliness and precision of detecting sequential anomalies. Moreover, most existing approaches are unable to capture temporal features from long sequences. Self-attention based approaches, such as transformers, have been demonstrated to be particularly efficient in capturing long-range dependencies while being computationally efficient during training and inference. We also propose an efficient transformer approach for anomaly detection in time series and extensively evaluate our proposed approach on several popular benchmark datasets.

研究の動機と目的

• 既存の時系列異常検出手法における不適切な評価基準を特定・是正すること。特に、逐次的異常において真陽性を過大に強調し、偽陰性を過剰にペナルティ化することでF1スコアが不自然に高くなる問題を解消する。
• 異常検出の早期性と正確性を両方測れる新しい評価指標SPD（逐次的精度と遅延）を提案すること。
• 長期間の時系列依存関係を効果的に捉えつつ、計算効率を維持できる効率的なトランスフォーマー基盤モデルTiSATを開発すること。
• 極値理論とラムベルトW関数を用いて、誤報率の閉形式表現を導出し、検出しきい値の理論的根拠を提供すること。

提案手法

• TiSATは、100のスライディングウィンドウを用いた入力を処理する2エンコーダー1デコーダー構造のトランスフォーマーを採用する。
• モデルは、入力系列の再構成誤差を測定することで異常を検出する再構成ベースの損失関数を用いる。
• 主な革新点として、極値理論を用いて閉形式のしきい値を導出する。しきい値hはh = -log(FAR)/ω₀として計算され、ω₀は次元数と統計的性質から導かれる。
• 誤報率は、期待される誤報周期の逆数を用いて解析的に上限を定め、5つのベンチマークデータセットで実証的に検証された。
• すべてのデータセットに最小最大正規化を適用し、固定学習率1e-4で4エポックにわたりAdam最適化法を用いてモデルを訓練する。
• 提案されたSPD指標は、アラーム発動の遅延と異常系列検出の正確性を測定することで、従来のインスタンスベース指標に起因するバイアスを回避する。

実験結果

リサーチクエスチョン

• RQ1 逐次的異常において真陽性を強調する標準的なインスタンスベース評価指標は、実際の性能が低い場合でも、誤って高いF1スコアを示すことがあるか？
• RQ2 低確率でアラームをランダムに発動する単純なランダム推測戦略が、標準評価プロトコル下で最先端の異常検出モデルを上回る可能性はあるか？
• RQ3 検出の早期性と正確性を両方測る新規指標SPDは、実世界の性能をより的確に反映できるか？
• RQ4 トランスフォーマー基盤アーキテクチャは、学習および推論において計算効率を維持しつつ、時系列データの長距離依存関係を効果的にモデル化できるか？
• RQ5 未教師あり異常検出において、所望の誤報率を満たす検出しきい値の閉形式解析的表現を導出することは可能か？

主な発見

• 1%のアラーム確率を持つランダム推測法は、SMDでF1スコア93.39、PSMで98.83を達成し、標準調整インスタンスベース評価下で最先端手法を上回った。これは、評価基準の根本的欠陥を露呈した。
• TiSATは、SMDでSPDスコア52.70、MSLで33.40、SMAPで29.35、SWaTで46.23、PSMで38.58を達成し、OCSVM、IsolationForest、LSTMといった古典的手法を顕著に上回った。
• 提案されたSPD指標は、F1スコアで優位なAnomaly Transformer や InterFusion が、検出の早期性と正確性の点で劣っていることを明らかにした。
• 漸近的誤報率解析に基づく理論的しきい値は、実証的結果とよく一致しており、すべてのデータセットでh = -log(FAR)/ω₀という閉形式表現が有効であることが裏付けられた。
• アテンション機構を用いた再構成ベースの学習により、長距離依存関係が効果的に捉えられ、多様で現実の時系列データに対して優れた検出性能が得られた。
• 実証的検証により、定理1から導かれた誤報周期の下限が、実際の観測誤報周期とよく一致しており、理論的枠組みの堅牢性が裏付けられた。