[論文レビュー] PatchAD: A Lightweight Patch-based MLP-Mixer for Time Series Anomaly Detection

Zhijie Zhong, Zhiwen Yu+3 more|arXiv (Cornell University)|Jan 18, 2024

Anomaly Detection Techniques and Applications被引用数 4

ひとこと要約

PatchADは、正例と異常例のパターンを区別するために対照学習を用い、軽量でマルチスケールなパッチベースのMLP-Mixerアーキテクチャを提案する。非重複する時系列パッチと二重プロジェクション制約を活用することで、8つのベンチマークデータセットにおいて高い効率性と頑健性を実現し、最先端の性能を達成した。

ABSTRACT

Time series anomaly detection is a pivotal task in data analysis, yet it poses the challenge of discerning normal and abnormal patterns in label-deficient scenarios. While prior studies have largely employed reconstruction-based approaches, which limit the models' representational capacities. Moreover, existing deep learning-based methods are not sufficiently lightweight. Addressing these issues, we present PatchAD, our novel, highly efficient multiscale patch-based MLP-Mixer architecture that utilizes contrastive learning for representation extraction and anomaly detection. With its four distinct MLP Mixers and innovative dual project constraint module, PatchAD mitigates potential model degradation and offers a lightweight solution, requiring only $0.403M$ parameters. Its efficacy is demonstrated by state-of-the-art results across $8$ datasets sourced from different application scenarios, outperforming over $30$ comparative algorithms. PatchAD significantly improves the classical F1 score by 6.84%, the Aff-F1 score by 4.27%, and the V-ROC by 2.49%. Simultaneously, an in-depth analysis of the mechanisms underlying PatchAD has been conducted from both theoretical and experimental perspectives, validating the design motivations of the model. The code is publicly available at https://github.com/EmorZz1G/PatchAD.

研究の動機と目的

• 教師なし時系列データにおける正例と異常例のパターンを区別する再構成ベース手法の限界を解消すること。
• 計算複雑性を低減しつつ高い性能を維持できる軽量なディープラーニングフレームワークを設計すること。
• マルチスケールな時系列パッチとチャネル間の依存関係をモデル化することで、時系列異常検出における表現学習を向上させること。
• 新たな二重プロジェクション制約モジュールを導入することで、対照学習におけるモデルの劣化を軽減すること。
• 最小限のアーキテクチャ的オーバーヘッドで、多様な多次元時系列データセットに効果的に異常検出を可能にすること。

提案手法

• PatchADは、入力時系列データを重複のない時系列パッチに分割するマルチスケールパッチング戦略を採用し、点レベルの表現を超えるより豊かな意味的特徴を捉える。
• 異なるパッチサイズを処理する4つの異なるMLP-Mixerエンコーダーを用い、マルチスケールな時系列ダイナミクスと関係性をモデル化する。
• 同じパッチシーケンスの2つの拡張ビューを作成することで対照学習を実装し、正例では一貫した表現を促進し、異常例ではそれを破壊する。
• 二重プロジェクション制約モジュールを導入することで、表現崩壊を防ぎ、対照学習の訓練を安定化させる。
• 自己注意機構を避けるために、MLPベースのミキシング機構を用いてパッチ間およびパッチ内関係をモデル化し、軽量な推論を実現する。
• 異常スコアは対照損失と再構成誤差に基づき計算され、分類に使用するための学習済みしきい値が用いられる。

実験結果

リサーチクエスチョン

• RQ1 純粋にMLPベースのアーキテクチャが、計算コストを低く抑えながらも、自己注意ベースのモデルを上回る性能を達成できるか？
• RQ2 マルチスケールパッチングは、異なる時系列パターンにおける多様な異常タイプの検出能力を向上させるのにどの程度有効か？
• RQ3 二重プロジェクション制約は、時系列データにおける対照学習の表現崩壊をどの程度軽減できるか？
• RQ4 PatchADは、最先端の手法と比較して、多様な実世界の多次元時系列データセットにおいてどの程度の性能を示すか？
• RQ5 ウィンドウサイズ、パッチサイズ、モデル次元などのハイパーパrameter設定は、性能と推論速度の間でどの程度の最適なトレードオフを生み出すか？

主な発見

• PatchADは8つのベンチマークデータセットで最先端の性能を達成し、MSLではF1スコア95.02、SMAPでは96.55、WADIでは92.43を記録した。
• アブレーションスタディにより、二重プロジェクション制約を削除するとMSLでF1スコアが1.96ポイント低下し、モデル劣化防止におけるその重要性が確認された。
• モデルは高い効率性を維持しており、SMDデータセットにおけるスライディングステップ1の状況でDCdetectorの1.45倍速く動作した。
• ウィンドウサイズ60〜210の範囲で性能が安定しており、最適な結果はウィンドウサイズ105で観察された。これにより、入力長の変動に対して強い頑健性を示した。
• WADIデータセットでは、フル構成を使用した場合、100％のリコールを達成し、希少または複雑な異常の検出能力の高さを示した。
• 感度分析の結果、プロジェクション制約を0.1〜0.4の範囲、異常しきい値を0.8〜1.0の範囲に設定すると、全データセットで最良の性能が得られた。