[論文レビュー] DTAAD: Dual Tcn-Attention Networks for Anomaly Detection in Multivariate Time Series Data

Lingrui Yu|arXiv (Cornell University)|Feb 17, 2023

Anomaly Detection Techniques and Applications参考文献 59被引用数 6

ひとこと要約

DTAADは、自己回帰自己符号化器とフィードバック機構を備えた二重TCN-アテンションネットワークを用いた、軽量で教師なしの異常検出モデルを提案する。最先端のベースラインと比較してF1スコアが8.38%高く、トレーニングが99%高速である。6つのベンチマークデータセットにおいて優れた性能と効率性を示した。

ABSTRACT

Anomaly detection techniques enable effective anomaly detection and diagnosis in multi-variate time series data, which are of major significance for today's industrial applications. However, establishing an anomaly detection system that can be rapidly and accurately located is a challenging problem due to the lack of anomaly labels, the high dimensional complexity of the data, memory bottlenecks in actual hardware, and the need for fast reasoning. In this paper, we propose an anomaly detection and diagnosis model, DTAAD, based on Transformer and Dual Temporal Convolutional Network (TCN). Our overall model is an integrated design in which an autoregressive model (AR) combines with an autoencoder (AE) structure. Scaling methods and feedback mechanisms are introduced to improve prediction accuracy and expand correlation differences. Constructed by us, the Dual TCN-Attention Network (DTA) uses only a single layer of Transformer encoder in our baseline experiment, belonging to an ultra-lightweight model. Our extensive experiments on seven public datasets validate that DTAAD exceeds the majority of currently advanced baseline methods in both detection and diagnostic performance. Specifically, DTAAD improved F1 scores by $8.38\%$ and reduced training time by $99\%$ compared to the baseline. The code and training scripts are publicly available on GitHub at https://github.com/Yu-Lingrui/DTAAD.

研究の動機と目的

• 高次元で多次元の時系列データにおいて、ラベル付きデータが限られる状況下での教師なし異常検出の課題に対処すること。
• 複雑な時系列的依存関係と変数間相関を効率的に捉えるモデルを設計すること。
• リアルタイム産業用途への導入を想定し、トレーニング時間とメモリ使用量を削減しながら高い検出精度を維持すること。
• フィードバック機構とアテンション機構を統合することで、異常の局所化と診断を向上させること。

提案手法

• 自己回帰自己符号化器（AR-AE）と二重ブランチの時系列畳み込みネットワーク（TCN）アーキテクチャ（局所的TCNとグローバルTCN）を組み合わせ、短時間および長時間の依存関係を捉える。
• 長時間の時系列パターンをモデル化するために、マルチヘッド自己アテンションを用いた単一層のTransformerエンコーダーを採用する。
• 再構築誤差を段階的に是正することで予測を精緻化し、特徴学習を向上させるフィードバック機構を導入する。
• 局所的およびグローバルなデコーダーの両方に損失重みを適用し、学習のバランスを保ち、相関差を拡大する。
• 因果的で拡張された畳み込みをTCNブロックで使用することで、因果関係を保ちつつ長距離の文脈を効率的に捉える。
• 将来予測損失のみを用いて教師なしでトレーニングを行い、早期停止とAdamW最適化を適用する。

実験結果

リサーチクエスチョン

• RQ1 軽量で単一エンコーダーのTransformerベースのモデルは、多次元時系列異常検出において最先端の性能を達成できるか？
• RQ2 二重TCN-アテンション設計は、局所的異常とグローバルトレンドの両方を効果的に捉えられるか？
• RQ3 フィードバック機構は、多様なデータセットにわたる検出精度と一般化性能をどの程度向上させるか？
• RQ4 SOTAモデルと比較してトレーニング時間を99%短縮できるか、F1スコアを維持または向上できるか？

主な発見

• DTAADは、完全なデータセットにおいて、最も強力なベースラインと比較してF1スコアを8.38%向上させ、トレーニング時間を99%削減した。
• SMDデータセットでは平均F1スコア0.8390、WADIデータセットでは0.8941を達成し、すべてのアブレーション変種を上回った。
• TCN_GlobalおよびTCN_Localのコンponentsが性能向上に最も寄与しており、それらを削除するとF1スコアとAUCスコアが最も著しく低下した。
• ウィンドウサイズ10が、文脈情報の捉え方とトレーニング効率の両立において最適なバランスを提供し、この設定で性能がピークに達した。
• アテンション可視化により、グローバルアテンションが全体のトレンドに注目しているのに対し、ローカルアテンションが短期的異常を強調していることが確認され、モデルの診断能力が妥当であることが裏付けられた。
• WADI、SMD、MSDSを含む6つの公開データセットにおいて、汎用性とスケーラビリティを示し、良好な一般化性能を示した。