[論文レビュー] Time Series Anomaly Detection Using Convolutional Neural Networks and Transfer Learning

Tailai Wen, Roy Keyes|arXiv (Cornell University)|May 31, 2019

Anomaly Detection Techniques and Applications参考文献 22被引用数 100

ひとこと要約

この論文は、異常検知のためのCNNベースの時系列セグメンテーション手法（U-Net）と、単変量の事前学習を多変量タスクへ適用する転移学習フレームワーク（MU-Net）を提案し、合成データと実データで検証している。

ABSTRACT

Time series anomaly detection plays a critical role in automated monitoring systems. Most previous deep learning efforts related to time series anomaly detection were based on recurrent neural networks (RNN). In this paper, we propose a time series segmentation approach based on convolutional neural networks (CNN) for anomaly detection. Moreover, we propose a transfer learning framework that pretrains a model on a large-scale synthetic univariate time series data set and then fine-tunes its weights on small-scale, univariate or multivariate data sets with previously unseen classes of anomalies. For the multivariate case, we introduce a novel network architecture. The approach was tested on multiple synthetic and real data sets successfully.

研究の動機と目的

• IoT/産業モニタリングにおける時系列データで異常がまれである状況における異常検知を動機付ける。
• U-Netに触発されたCNNベースの時系列セグメンテーションアーキテクチャを提案し、異常セグメントを検出する。
• 合成の単変量データで事前学習を行い、データの希少性を克服する転移学習フレームワークを導入する。
• 単変量の事前学習特徴を多変量時系列タスクへ転送する MU-Net を開発する。
• 転移学習シナリオを含む、単変量および多変量データセットの性能を評価する。

提案手法

• 1D CNN をU-Net風のアーキテクチャへ適応し、エンコーダー－デコーダーの対称性とスキップ接続を用いた時系列セグメンテーションを実現する。
• チャネルを別個の次元として扱い、最終層の設定を適切に使用して多変量入力を処理する（多クラス/多ラベルまたは名義クラス）。
• 学習にはソフト Dice ロスと Adam オプティマイザを用いる。
• ユーザー指定の振幅スケールで入力正規化を適用し、必要に応じて動的スケーリングのためのスナップショットごとの正規化レイヤを追加する。
• 時系列特有の拡張（ズーミング、トレンド、反転など）で訓練データを増強し、頑健性を向上させる。
• 単変量の事前学習ウェイトをチャネル単位のエンコーディングと結合エンコーディング段階、標準のデコーディング段階を経て多変量タスクへ転送する MU-Net アーキテクチャを開発する。

実験結果

リサーチクエスチョン

• RQ1 CNNベースのセグメンテーションモデル（U-Net）は、単変量および多変量の時系列で異常セグメントを効果的に検出できるか？
• RQ2 大規模な合成単変量時系列データセットから実世界の、より小さな多変量および単変量異常検知タスクへの転移学習はどれほど効果的か？
• RQ3 MU-Net は、単変量から多変量の時系列異常検知へ学習済み特徴を転送する実用的なメカニズムを提供するか？
• RQ4 時系列の異常セグメンテーションにおけるデータ拡張と入力正規化が検出性能に与える影響はどの程度か？

主な発見

• Dodgers Loop センサデータ（単変量）では、42イベントで学習したモデルが81イベントを検出し、39テストイベント中3件をミスしたのみで、欠損値付近でいくつか偽陽性が見られた。
• Gasoilプラントデータ（多変量、19変数）では、22件の攻撃のうち1件だけ見逃され、18テスト系列中に3つの誤警報があった。
• 合成の単変量曲線で、単変量転移学習後のIoUは71.95%、ゼロからの学習（スクラッチ）では50.96%だった。
• EMGデータセットの結果は、スクラッチのU-NetのIoUが56.61%から、MU-Netで64.10%、事前学習済みのU-NetをMU-Netへ転送してファインチューニング後には70.04%へ向上した。
• 提案されたセグメンテーションベースのアプローチは、ストリーミングデータにおける高粒度な異常局在化を実現し、スライディングウィンドウ分類法の課題を解決する。