[論文レビュー] AnomalyBERT: Self-Supervised Transformer for Time Series Anomaly Detection using Data Degradation Scheme

Yungi Jeong, Eun-Seok Yang+3 more|arXiv (Cornell University)|May 8, 2023

Anomaly Detection Techniques and Applications被引用数 16

ひとこと要約

AnomalyBERT は、4つの合成外れ値を用いたデータ劣化自己教師付きスキームでTransformerベースのモデルを訓練し、多変量時系列の異常を検出、5つの実世界ベンチマークで最先端の結果を達成します。

ABSTRACT

Mechanical defects in real situations affect observation values and cause abnormalities in multivariate time series, such as sensor values or network data. To perceive abnormalities in such data, it is crucial to understand the temporal context and interrelation between variables simultaneously. The anomaly detection task for time series, especially for unlabeled data, has been a challenging problem, and we address it by applying a suitable data degradation scheme to self-supervised model training. We define four types of synthetic outliers and propose the degradation scheme in which a portion of input data is replaced with one of the synthetic outliers. Inspired by the self-attention mechanism, we design a Transformer-based architecture to recognize the temporal context and detect unnatural sequences with high efficiency. Our model converts multivariate data points into temporal representations with relative position bias and yields anomaly scores from these representations. Our method, AnomalyBERT, shows a great capability of detecting anomalies contained in complex time series and surpasses previous state-of-the-art methods on five real-world benchmarks. Our code is available at https://github.com/Jhryu30/AnomalyBERT.

研究の動機と目的

• 自己教師あり学習を活用して、ラベルなしの多変量時系列データにおける異常検知の課題に取り組む。
• 異常検知を監視するための合成外れ値を用いたデータ劣化メカニズムを導入する。
• 時系列データに適した時刻的文脈モデリングを備えた Transformer ベースのアーキテクチャを開発する。
• 従来法と比較して複数の実世界ベンチマークで優れた性能を示す。

提案手法

• 1D 相対位置バイアスを用いた Transformer エンコーダを使用し、時系列の文脈を符号化する。
• ランダムな窓区間を四つの合成外れ値のいずれかで置換するデータ劣化スキームを採用する（ソフト置換、均一置換、ピークノイズ、長さ調整）。
• 各入力窓内で劣化領域を異常としてラベル付けする二値クロスエントロピー目的関数で訓練する。
• Transformer 処理の前に、窓内の各データパッチを線形層を介して埋め込みへ射影する。
• 窓内の異常度の可能性を示すポイントごとの異常スコアを出力する。

実験結果

リサーチクエスチョン

• RQ1 自己教師付きの劣化ベースの訓練目的は、ラベルなしの多変量時系列における効果的な異常検知を可能にするか。
• RQ2 相対位置バイアスを備えた Transformer アーキテクチャは、時系列の文脈と変数間の関係を十分に捉え、正確な異常スコアリングを提供できるか。
• RQ3 合成外れ値の種類は、さまざまな実世界データセットにおける検出性能にどのような影響を与えるか。

主な発見

• AnomalyBERT は F1 スコアの観点で、5 つの実世界ベンチマークで従来法を上回る。
• データ劣化スキームによって、ラベル付き異常がなくても時系列文脈をモデルが学習できるようになる。
• 1D 相対位置バイアスは、時系列情報の統合を改善する。
• 合成外れ値タイプ（ソフト置換、均一置換、ピークノイズ、長さ調整）の組み合わせは、データセットを横断して強い検出性能をもたらす。
• 定性的な可視化は潜在空間における異常点の明確な分離を示す。