[論文レビュー] RobustTAD: Robust Time Series Anomaly Detection via Decomposition and Convolutional Neural Networks

Jingkun Gao, Xiaomin Song+4 more|arXiv (Cornell University)|Feb 21, 2020

Anomaly Detection Techniques and Applications参考文献 49被引用数 86

ひとこと要約

RobustTADは、ロバスト時系列分解をU-Netベースのエンコーダ-デコーダネットワークと組み合わせ、点ごとの異常を検出し、データ拡張と重み付き損失によって支援され、Yahooベンチマークで最先端の結果を達成します。

ABSTRACT

The monitoring and management of numerous and diverse time series data at Alibaba Group calls for an effective and scalable time series anomaly detection service. In this paper, we propose RobustTAD, a Robust Time series Anomaly Detection framework by integrating robust seasonal-trend decomposition and convolutional neural network for time series data. The seasonal-trend decomposition can effectively handle complicated patterns in time series, and meanwhile significantly simplifies the architecture of the neural network, which is an encoder-decoder architecture with skip connections. This architecture can effectively capture the multi-scale information from time series, which is very useful in anomaly detection. Due to the limited labeled data in time series anomaly detection, we systematically investigate data augmentation methods in both time and frequency domains. We also introduce label-based weight and value-based weight in the loss function by utilizing the unbalanced nature of the time series anomaly detection problem. Compared with the widely used forecasting-based anomaly detection algorithms, decomposition-based algorithms, traditional statistical algorithms, as well as recent neural network based algorithms, RobustTAD performs significantly better on public benchmark datasets. It is deployed as a public online service and widely adopted in different business scenarios at Alibaba Group.

研究の動機と目的

• 大規模な産業環境で多様な時系列に対して、スケーラブルでリアルタイムな異常検知を動機づける。
• トレンド/季節性を異常から分離し、ニューラルネットワーク設計を簡素化するために、ロバスト分解を活用する。
• ラベル付き異常が乏しい状況を補うため、時系列領域と周波数領域でのデータ拡張を調査する。
• クラス不均衡に対処するため、ラベルベースおよび値ベースの重み付けを損失関数に導入する。
• 公開データセット上で、実用的なオンライン展開とベースラインに対する優れた性能を実証する。

提案手法

• 周期性に応じて RobustPeriod と RobustSTL または RobustTrend を用いて、時系列をトレンド、季節性、残差に分解する。
• 残差成分から密な異常マップを予測するために、Skip connections を使った U-Net 風のエンコーダ-デコーダネットワークを使用する。
• クラス不均衡に対処するために重み調整損失を適用し、値ベースの重み付けのために近傍差を活用する。
• 訓練データを拡張するために、時系列領域および周波数領域のデータ拡張手法を開発する。
• ストリーミングデータに対して、オンライン分解と高速なニューラルネット予測を実装しオンライン推論を行う。
• データ取り込み、オフライン訓練、オンラインサービス、可視化を含むエンドツーエンドのシステムアーキテクチャを提供する。

実験結果

リサーチクエスチョン

• RQ1 ロバストな時系列分解とCNNの組み合わせは、多様な時系列に対して異常検知性能を改善するか？
• RQ2 データ拡張と重み付き損失は、ラベル不足とクラス不均衡の下で学習にどのように影響するか？
• RQ3 オンライン分解と推論は、実運用環境におけるリアルタイム要件を満たせるか？
• RQ4 CNNベースの異常検知において、分解後の残差入力と生の時系列を使用することの影響は何か？

主な発見

手法	適合率	再現率	F1スコア	Relax F1スコア
ARIMA	0.513	0.144	0.225	0.533
SHESD	0.501	0.488	0.494	0.557
Donut	0.015	0.829	0.029	0.030
U-Net-Raw	0.473	0.351	0.403	0.533
U-Net-De	0.651	0.594	0.621	0.710
U-Net-DeW	0.793	0.569	0.662	0.795
U-Net-DeWA	0.859	0.581	0.693	0.812

• 提案された RobustTAD フレームワークは、Yahoo ベンチマークにおいて、予測ベース、分解ベース、raw CNN のベースラインよりも高い F1 スコアを達成する。
• 分解 + U-Net と重み付き損失およびデータ拡張により性能が大幅に向上し、F1 = 0.693 および Relax F1 = 0.812（U-Net-DeWA）を達成。
• 生データ上のナイーブな U-Net は性能が低い（F1 0.403）、しかし分解と調整を加えると大幅な改善を得られる（F1 約0.22–0.29）。
• オンライン推論は効率的で、ストリーミング展開下では異常ラベリングコストが低く、予測は1点あたり10 ms未満、オンライン分解は約100 ms。
• このアプローチは Alibaba の公開オンラインサービスとして展開され、実運用で広く使用されており、公開ベンチマーク上でいくつかの競合手法を上回っている。