[論文レビュー] Anomaly Transformer: Time Series Anomaly Detection with Association Discrepancy

Jiehui Xu, Haixu Wu+2 more|arXiv (Cornell University)|Oct 6, 2021

Anomaly Detection Techniques and Applications参考文献 30被引用数 238

ひとこと要約

本論文では、自己注意メカニズムを活用して、異常ポイントが全時系列データとどのように異なる関連付けを行うかを測る指標である「関連不一致（Association Discrepancy）」を計算する、新しい非教師あり時系列異常検出モデル「Anomaly Transformer」を提案する。2本のブランチからなる異常注意メカニズムと、正常と異常な関連付けの区別を強化するためのミニマックス戦略を導入することで、サービス監視、宇宙・地球探査、水処理の分野にまたがる6つのベンチマークで最先端の性能を達成した。

ABSTRACT

Anomaly detection in time series data is a critical task in various domains, including finance, healthcare, cybersecurity and industry. Traditional methods, such as time series decomposition, clustering, and density estimation, have provided robust solutions for identifying anomalies that exhibit distinct patterns or significant deviations from normal data distributions. Recent advancements in machine learning and deep learning have further enhanced these capabilities. This paper introduces a novel method for anomaly detection that combines the strengths of autoencoders and recurrent neural networks (RNNs) with an reconstruction error feedback mechanism based on Mean Squared Error. We compare our method against classical techniques and recent approaches like OmniAnomaly, which leverages stochastic recurrent neural networks, and the Anomaly Transformer, which introduces association discrepancy to capture long-range dependencies and DCDetector using contrastive representation learning with multi-scale dual attention. Experimental results demonstrate that our method achieves superior overall performance in terms of precision, recall, and F1 score. The source code is available at http://github.com/mribrahim/AE-FAR

研究の動機と目的

• 異常がまれで通常のデータから難しく区別できる状況における非教師あり時系列異常検出の課題に対処すること。
• 通常の時系列ポイントと異常な時系列ポイントの間の時間的関連パターンの本質的な違いを効果的に捉える基準を開発すること。
• 事前関連（隣接集中バイアス）と系列関連（グローバル注意）を同時にモデル化することで、検出性能を向上させること。
• 関連不一致に対する新たなミニマックス最適化戦略により、モデルの頑健性と区別能を向上させること。

提案手法

• 2本のブランチ構造を持つ「異常注意（Anomaly-Attention）」メカニズムを提案：1本のブランチは、隣接集中のインダクティブバイアスを有する学習可能なガウスカーネルを用いて事前関連をモデル化し、もう1本のブランチは標準的な自己注意により生の時系列データから系列関連を学習する。
• 各時系列ポイントについて、事前関連と系列関連の間の距離を「関連不一致」と定義し、ポイントが全体の系列とどのように関連するかの逸脱を捉える。
• 事前関連を最適化することで系列関連を制約するミニマックス戦略を導入し、正常と異常な関連の不一致の差を拡大することで、区別能を高める。
• 再構成損失を用いて表現の質を維持するとともに、ミニマックス目的が関連不一致の識別性能を向上させることで、異常検出に寄与する。
• 従来の再構成誤差の代わりまたは補完として、関連不一致を新たな検出基準として適用する。
• ラベルなし異常データを必要とせず、生の時系列データのみを用いて、エンドツーエンドで非教師学習でモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 事前関連（隣接集中）と系列関連（グローバル注意）の間の関連不一致は、信頼性があり、明確に区別可能な異常検出基準として機能するか？
• RQ2 異常固有の隣接集中バイアスをどのようにモデル化し、検出性能の向上に活用できるか？
• RQ3 ミニマックス戦略は、関連不一致における正常／異常の差を効果的に拡大し、検出の頑健性を向上させられるか？
• RQ4 提案された Anomaly Transformer は、多様な実世界の時系列応用分野において、既存の最先端手法を上回る性能を示すか？

主な発見

• Anomaly Transformer は、サービス監視、宇宙・地球探査、水処理の3つの実世界応用分野にまたがる6つの非教師あり時系列異常検出ベンチマークで、最先端の性能を達成した。
• ミニマックス戦略により、異常時系列ポイントと正常時系列ポイントの間の対比が顕著に向上し、SMDデータセットでは関連不一致の対比が再構成のみの場合の1.15から2.39に向上した。
• 関連に基づく基準は、再構成に基づく基準を上回り、特にポイント・コンテキスト異常およびパターン・シーズン異常を検出する際に顕著に効果的であり、誤検出を低減した。
• 事前アテンションブランチで学習されたスケールパラメータ σ は、異常ポイントでより小さい値を示しており、隣接集中のインダクティブバイアスが効果的に捉えられていることを確認した。
• 可視化により、再構成誤差と比較して、関連不一致基準が異常に対してより一貫性があり、明確に区別可能なスコアを生成することが確認された。
• アブレーションスタディにより、Anomaly-Attention メカニズムとミニマックス戦略の両方が最適性能を達成するために不可欠であることが示され、いずれかのコンponentを除去すると性能が著しく低下した。