[論文レビュー] MEMTO: Memory-guided Transformer for Multivariate Time Series Anomaly Detection

Junho Song, Keonwoo Kim+2 more|arXiv (Cornell University)|Dec 5, 2023

Anomaly Detection Techniques and Applications被引用数 28

ひとこと要約

MEMTO は、ゲート付きメモリ・モジュールと二段階の学習パラダイムを備えたメモリガイド Transformer を導入し、多変量時系列の異常を検出する。実世界データセット5件で、双方向の偏差に基づく検出基準を用いて、最先端のF1スコアを達成。

ABSTRACT

Detecting anomalies in real-world multivariate time series data is challenging due to complex temporal dependencies and inter-variable correlations. Recently, reconstruction-based deep models have been widely used to solve the problem. However, these methods still suffer from an over-generalization issue and fail to deliver consistently high performance. To address this issue, we propose the MEMTO, a memory-guided Transformer using a reconstruction-based approach. It is designed to incorporate a novel memory module that can learn the degree to which each memory item should be updated in response to the input data. To stabilize the training procedure, we use a two-phase training paradigm which involves using K-means clustering for initializing memory items. Additionally, we introduce a bi-dimensional deviation-based detection criterion that calculates anomaly scores considering both input space and latent space. We evaluate our proposed method on five real-world datasets from diverse domains, and it achieves an average anomaly detection F1-score of 95.74%, significantly outperforming the previous state-of-the-art methods. We also conduct extensive experiments to empirically validate the effectiveness of our proposed model's key components.

研究の動機と目的

• 再構成ベースの手法の過剰一般化に対処することで、実世界の多変量時系列における堅牢な異常検知を動機づける。
• 正常データの代表パターンを保存し、異常の再構成を正則化するメモリガイド型 Transformer を開発する。
• K-means のセントロイドで初期化されたメモリ項目を用い、二段階の学習パラダイムを通じてメモリ更新を安定化させる。
• 潜在空間と入力空間の偏差を組み合わせた双方向の異常スコアを提案し、堅牢なオンライン検出を実現する。

提案手法

• 入力サブ系列を潜在空間に射影するために Transformer エンコーダを用いる。
• 更新ゲートを備えたGated memoryモジュールを導入し、メモリ項目を入力データへ適応させる。
• デコード前に、メモリを条件としたクエリ更新段を実装して、メモリ項目をクエリと連結してからデコードする。
• 入力を再構成する弱いデコーダを用い、自己教師あり前処理タスクとして機能させる。
• 再構成損失に加え、メモリアテンションのエントロピーに基づくスパース性正則化を用いて、新規情報の注入を制御する。
• encoder が生成したクエリに対して K-means クラスタリングを用いた二段階の学習パラダイムでメモリ項目を初期化する。

Figure 1: Illustration of proposed MEMTO. Green $\bowtie$ depicts the update gate $\psi$ in the Gated memory update stage, which controls the degree of updating items. Red $\oplus$ represents concatenation of queries $q_{t}^{s}$ and retrieved memory items $\tilde{q}_{t}^{s}$ . ‘Weak Decoder’ represe

実験結果

リサーチクエスチョン

• RQ1 MEMTO は diverse real-world datasets における多変量時系列異常検知で既存手法を上回ることができるか？
• RQ2 Gated memory モジュールは多様な正規パターンに適応することでロバストネスを向上させるか？
• RQ3 二段階のメモリ初期化はデータセット間での訓練の安定性と性能を向上させるか？
• RQ4 双方向の偏差ベースの基準（潜在空間と入力空間）は、単一空間の基準よりも信頼性の高い異常スコアを提供するか？
• RQ5 MEMTO はメモリ項目数に対してどれくらい感度が高く、計算コストのトレードオフはどうか？

主な発見

データセット	P (SMD)	R (SMD)	F1 (SMD)	P (MSL)	R (MSL)	F1 (MSL)	P (PSM)	R (PSM)	F1 (PSM)	P (SMAP)	R (SMAP)	F1 (SMAP)	P (SWaT)	R (SWaT)	F1 (SWaT)	平均 F1
MEMTO	89.13	98.40	93.54	92.07	96.76	94.36	93.76	99.63	96.61	94.18	97.54	95.83	97.46	99.23	98.34	95.74

• MEMTO は five real-world datasets で平均 F1-score 95.74% を達成し、従来の最先端を上回った。
• 二次元偏差ベースの異常基準（潜在空間と入力空間）は、単一空間のみを用いる基準を一貫して上回す。
• Gated memory モジュールを削除すると性能が著しく低下し、SWaT で大幅な低下を招く。
• K-means による二段階のメモリ初期化は、安定性と平均 F1-score を著しく改善する。
• MEMTO はメモリ項目数の変動に対して頑健であり、性能と効率を考慮した良いデフォルトとして10項目が推奨される。
• MEMTO の推論時は、オンライン計算がより単純であるため、比較対象モデルより速い。

Figure 2: Distribution of LSD values for normal and abnormal samples.