[論文レビュー] TranAD: Deep Transformer Networks for Anomaly Detection in Multivariate Time Series Data

Shreshth Tuli, Giuliano Casale+1 more|arXiv (Cornell University)|Jan 18, 2022

Anomaly Detection Techniques and Applications被引用数 112

ひとこと要約

TranAD は、多変量時系列データの異常検知と診断モデルを導入し、自己条件付け、敵対的訓練、および MAML を用いて、限られたデータで高速かつ頑健な検出を実現します。

ABSTRACT

Efficient anomaly detection and diagnosis in multivariate time-series data is of great importance for modern industrial applications. However, building a system that is able to quickly and accurately pinpoint anomalous observations is a challenging problem. This is due to the lack of anomaly labels, high data volatility and the demands of ultra-low inference times in modern applications. Despite the recent developments of deep learning approaches for anomaly detection, only a few of them can address all of these challenges. In this paper, we propose TranAD, a deep transformer network based anomaly detection and diagnosis model which uses attention-based sequence encoders to swiftly perform inference with the knowledge of the broader temporal trends in the data. TranAD uses focus score-based self-conditioning to enable robust multi-modal feature extraction and adversarial training to gain stability. Additionally, model-agnostic meta learning (MAML) allows us to train the model using limited data. Extensive empirical studies on six publicly available datasets demonstrate that TranAD can outperform state-of-the-art baseline methods in detection and diagnosis performance with data and time-efficient training. Specifically, TranAD increases F1 scores by up to 17%, reducing training times by up to 99% compared to the baselines.

研究の動機と目的

• 高次元の多変量時系列における異常検知と診断を改善する。
• 産業環境におけるラベル付きデータの不足と超低推論時間の要件に対処する。
• トランスフォーマーアーキテクチャを活用して長期的な時系列傾向を効率的に捉える。
• 頑健性と一般化を高めるために安定した敵対的訓練と自己条件付けを導入する。
• モデル非依存メタ学習（MAML）を用いて限られたデータで有効性を示す。

提案手法

• 時系列の傾向をモデル化するために注意機構を備えた transformer ベースのエンコーダ-デコーダアーキテクチャを使用する。
• 再構成の乖離を増幅し、有益な部分列に焦点を当てるための二相自己条件付けを適用する。
• 学習を安定化させ、頑健性を向上させるために二つのデコーダを用いた敵対的訓練を組み込む。
• 限られたデータで適応するためにモデル非依存メタ学習（MAML）を使用する。
• データをスライディングウィンドウに事前処理し、レプリケーションパディングを適用して [0,1) に正規化する。
• 二相再構成とピーク・オーバー・スレッショルド（POT）による動的閾値設定で異常を推定する。

実験結果

リサーチクエスチョン

• RQ1 TranAD は多変量時系列の異常検知と診断において最先端のベースラインを上回ることができますか？
• RQ2 二相自己条件付け敵対的訓練は検出の安定性と短期的な時系列トレンドへの感度を向上させますか？
• RQ3 MAML は異常検知タスクにおけるラベル付きデータが限られる場合にも有効な学習を可能にしますか？
• RQ4 TranAD は高次元データに対して精度を損なうことなく高速な学習と推論を実現できますか？

主な発見

• TranAD は六つの公開データセットでベースラインを上回り、F1 スコアが最大で17%向上した。
• トレーニング時間は競合手法と比較して最大99%短縮される。
• 自己条件付けを伴う二相敵対的訓練は頑健性を高め、小さな偏差の検出を改善する。
• MAML は限られたトレーニングデータで良好な性能を実現し、迅速な適応を示す。
• アテンションとフォーカススコアはデータのピークと高偏差セグメントと相関し、次元ごとの異常識別を可能にする。