[論文レビュー] ImDiffusion: Imputed Diffusion Models for Multivariate Time Series Anomaly Detection

Yuhang Chen, Chaoyun Zhang+8 more|arXiv (Cornell University)|Jul 3, 2023

Anomaly Detection Techniques and Applications被引用数 6

ひとこと要約

ImDiffusionは、時系列補完と拡散モデルを組み合わせることで、複雑な時間的および変数間依存関係をモデル化する、多次元時系列における異常検出のための新規フレームワークを提案する。拡散モデルに基づく補完器が得る複数ステップのノイズ除去出力を異常信号として活用することで、マイクロソフトの本番環境でF1スコアを11.4%向上させ、最先端の性能を達成した。

ABSTRACT

Anomaly detection in multivariate time series data is of paramount importance for ensuring the efficient operation of large-scale systems across diverse domains. However, accurately detecting anomalies in such data poses significant challenges. Existing approaches, including forecasting and reconstruction-based methods, struggle to address these challenges effectively. To overcome these limitations, we propose a novel anomaly detection framework named ImDiffusion, which combines time series imputation and diffusion models to achieve accurate and robust anomaly detection. The imputation-based approach employed by ImDiffusion leverages the information from neighboring values in the time series, enabling precise modeling of temporal and inter-correlated dependencies, reducing uncertainty in the data, thereby enhancing the robustness of the anomaly detection process. ImDiffusion further leverages diffusion models as time series imputers to accurately capturing complex dependencies. We leverage the step-by-step denoised outputs generated during the inference process to serve as valuable signals for anomaly prediction, resulting in improved accuracy and robustness of the detection process. We evaluate the performance of ImDiffusion via extensive experiments on benchmark datasets. The results demonstrate that our proposed framework significantly outperforms state-of-the-art approaches in terms of detection accuracy and timeliness. ImDiffusion is further integrated into the real production system in Microsoft and observe a remarkable 11.4% increase in detection F1 score compared to the legacy approach. To the best of our knowledge, ImDiffusion represents a pioneering approach that combines imputation-based techniques with time series anomaly detection, while introducing the novel use of diffusion models to the field.

研究の動機と目的

• 時間的および変数間相関が強い複雑な高次元多次元時系列における正確な異常検出の課題に対処すること。
• 現実のシステムにおける不確実性や複雑な依存関係に対処できない、従来の予測および再構築ベースの手法の限界を克服すること。
• 補完を活用してデータの不確実性を低減し、異常検出におけるロバスト性を向上させる自己教師ありフレームワークを導入すること。
• 拡散モデルのノイズ除去プロセスを活用して異常信号を抽出するという、時系列補完における拡散モデルの新しい応用を検討すること。
• 特に大規模分散環境において、高い検出精度と即時性を実現すること。

提案手法

• 時系列補完のために、グレーティングマスキング戦略と拡散モデルを統合し、時間的および変数間依存関係を保持する。
• 推論時に拡散モデルが生成する複数ステップのノイズ除去出力を異常信号のソースとして活用し、予測の段階的改善を可能にする。
• ノイズ除去の軌跡に基づくアンサンブル投票メカニズムを構築し、検出のロバスト性と精度を向上させる。
• 空間的および時間的トランスフォーマーを別々に採用し、それぞれが変数間関係と時間的ダイナミクスをモデル化することで、表現学習を改善する。
• ラベル付き異常データに依存しないよう、マスキングされた時系列データに対する再構築損失を用いて自己教師ありで学習を実施する。
• 拡散モデルの確率的性質を活用し、現実の時系列に内在するばらつきと不確実性をよりよく捉える。

実験結果

リサーチクエスチョン

• RQ1 拡散モデルは、多次元時系列における異常検出を向上させるために、時系列補完に効果的に適応可能か？
• RQ2 補完に基づく自己教師あり学習を組み込むことで、異常検出における複雑な時間的および変数間依存関係のモデル化がどの程度向上するか？
• RQ3 拡散モデルの複数ステップのノイズ除去出力は、異常予測の信頼性のある信号としてどの程度有効か？
• RQ4 空間的および時間的アテンションメカニズムは、現実のMTSデータにおける検出性能向上にどのように寄与するか？
• RQ5 本番環境において、最先端のベースラインと比較して、拡散モデルに基づく補完フレームワークは、優れた検出精度と即時性を達成できるか？

主な発見

• ImDiffusionは、マイクロソフトの本番環境にあるメール配信システムにおいて、従来のディープラーニングベースの異常検出器と比較してF1スコアを11.4%向上させた。
• R-AUC-PRは14.4%向上し、平均検出遅延（ADD）は30.2%削減された。これは、インcidnet検出がより迅速かつ信頼性が高いことを示している。
• 広範なアブレーションスタディの結果、空間的および時間的トランスフォーマーの両方が重要であることが確認され、SMDデータセットでいずれかのモジュールを削除した場合、性能の著しい低下が観察された。
• 補完に拡散モデルを用いることで、確率的かつ複雑な依存関係のモデル化が顕著に向上し、従来の再構築および予測ベースのベースラインを上回った。
• 複数ステップのノイズ除去出力に基づくアンサンブル投票メカニズムは、特に変動が激しい環境において、検出のロバスト性と精度を向上させた。
• 1点あたり複数回の推論を要するものの、ImDiffusionは高いオンライン効率を維持しており、1秒間に5.8点の処理が可能であり、本番環境における30秒間隔の遅延サンプリングにも十分対応している。