[論文レビュー] DCdetector: Dual Attention Contrastive Representation Learning for Time Series Anomaly Detection

Yiyuan Yang, Chaoli Zhang+3 more|arXiv (Cornell University)|Jun 17, 2023

Anomaly Detection Techniques and Applications参考文献 76被引用数 10

ひとこと要約

DCdetectorは、再構成損失なしで正常点と異常を区別するための、二重ブランチ・二重アテンションのコントラスト学習フレームワークを導入する未監督の時系列異常検知。パーミュテーション不変表現を学習する。

ABSTRACT

Time series anomaly detection is critical for a wide range of applications. It aims to identify deviant samples from the normal sample distribution in time series. The most fundamental challenge for this task is to learn a representation map that enables effective discrimination of anomalies. Reconstruction-based methods still dominate, but the representation learning with anomalies might hurt the performance with its large abnormal loss. On the other hand, contrastive learning aims to find a representation that can clearly distinguish any instance from the others, which can bring a more natural and promising representation for time series anomaly detection. In this paper, we propose DCdetector, a multi-scale dual attention contrastive representation learning model. DCdetector utilizes a novel dual attention asymmetric design to create the permutated environment and pure contrastive loss to guide the learning process, thus learning a permutation invariant representation with superior discrimination abilities. Extensive experiments show that DCdetector achieves state-of-the-art results on multiple time series anomaly detection benchmark datasets. Code is publicly available at https://github.com/DAMO-DI-ML/KDD2023-DCdetector.

研究の動機と目的

• 対比表現学習を活用して多変量時系列における教師なし異常検知を動機づける。
• 軽量な二重ブランチアーキテクチャと二重アテンションを提案し、通常パターンと異常を区別する。
• 異常からの混乱を減らすため、再構成損失とネガティブサンプルへの依存を排除する。
• 多様な実世界データセットで最先端性能を示し、崩壊を回避する分析を提供する。

提案手法

• パッチベースでチャネル非依存のアテンションモジュールを用いて、局所的およびチャネル間の時間的依存関係を捉える。
• 共有重みを持つパッチ単位とパッチ内表現という二つのビューを処理する二重アテンション対比構造を実装する。
• ネガティブサンプルなしで自明な崩壊を防ぎつつ、二つのビューを整合させる対称的KL発散ベースの損失を最適化する。
• 2つの表現間のKL発散の和として異常スコアを計算し、非対称性を強制するためにストップグラデイント操作を用いる。
• 情報損失を減らし表現の豊かさを高めるためにマルチスケールのパッチ設計を採用する。

実験結果

リサーチクエスチョン

• RQ1 再構成損失なしで、二重ブランチ・二重アテンション対比フレームワークは時系列の異常を識別可能な表現を学習できるか？
• RQ2 パッチ単位およびパッチ内ビュー間のパーミュテーション不変表現は、多変量時系列の正常点と異常を効果的に分離できるか？
• RQ3 DCdetector におけるマルチスケールパッチングは情報保持と異常識別にどのような影響を与えるか？
• RQ4 ネガティブサンプルなしの純粋な自己教師付き設定でモデルは崩壊に頑健か？

主な発見

• DCdetector は7つの多変量時系列と1つの単変量時系列の異常検知ベンチマークにおいて、最先端手法と競合するまたは優れた性能を達成する。
• 本手法は二分岐・共有重みアーキテクチャを用い、正常点にはパーミュテーション不変表現を学習し、異常はビュー間で表現のずれが大きくなる。
• 再構成不要の対比目的と stop-gradient により異常からの混乱を減らし、単純な崩壊に対して頑健性を示す。
• マルチスケールパッチングは情報保持を改善し、局所的な意味パターンの把握を助け、異常検知性能の向上に寄与する。
• 実証的結果は、実世界の多変量および単変量時系列を含む多様なデータセットで高い性能を示している。