[論文レビュー] A Comparative Study of Detecting Anomalies in Time Series Data Using LSTM and TCN Models

Saroj Gopali, Faranak Abri+2 more|arXiv (Cornell University)|Dec 17, 2021

Time Series Analysis and Forecasting被引用数 10

ひとこと要約

本研究では、SWaT水処理テストベッドを用いて時系列データにおける異常検出のための長短期記憶（LSTM）モデルと時空間畳み込みネットワーク（TCN）モデルを比較した。TCNはF1スコア（0.920 対 0.901）および学習安定性においてわずかにLSTMを上回り、より少ない損失の振動で最適な性能に早く到達した。これは、TCNが異常検出タスクにおいて効率的で頑健であることを示している。

ABSTRACT

There exist several data-driven approaches that enable us model time series data including traditional regression-based modeling approaches (i.e., ARIMA). Recently, deep learning techniques have been introduced and explored in the context of time series analysis and prediction. A major research question to ask is the performance of these many variations of deep learning techniques in predicting time series data. This paper compares two prominent deep learning modeling techniques. The Recurrent Neural Network (RNN)-based Long Short-Term Memory (LSTM) and the convolutional Neural Network (CNN)-based Temporal Convolutional Networks (TCN) are compared and their performance and training time are reported. According to our experimental results, both modeling techniques perform comparably having TCN-based models outperform LSTM slightly. Moreover, the CNN-based TCN model builds a stable model faster than the RNN-based LSTM models.

研究の動機と目的

• IoTシステムの時系列データにおける異常検出において、LSTMとTCNモデルの性能を評価・比較すること。
• 同等の複雑さのもとで、両アーキテクチャにおける学習効率、モデル安定性、予測精度を評価すること。
• TCNベースのモデルが、RNNベースのLSTMモデルに比べ、異常検出の精度、再現率、F1スコア、学習時間の観点で優位性を示すかどうかを特定すること。
• 標準化されたテストベッドを用いた実証的証拠を提供し、TCNがLSTMを上回ることを示すこと。

提案手法

• 長期間の時系列的依存関係を捉えるために、拡張因果畳み込みを用いた3つのリカージブブロックと3つの隠れ層を備えたTCNモデルを実装した。
• 異常検出のためのシーケンス・トゥ・シーケンス再構成を用い、再構成誤差に基づくLSTMモデルを1層および3層の隠れ層で構築した。
• 本研究では、ラベル付きの異常を含む実際の産業制御システム（ICS）データを含むSWaT水処理テストベッドデータセットを用いて両モデルを学習した。
• 再構成にバイナリクロスエントロピー損失を用い、テストセットにおける精度、再現率、F1スコアで性能を評価した。
• モデルの収束と安定性を評価するために、学習中の検証損失をモニタリングし、振動パターンと収束速度を比較した。
• 両アーキテクチャ間の公平な比較を確保するため、モデルの複雑さ（パラメータ数と層数）およびハイパーパrameterを一致させた。

実験結果

リサーチクエスチョン

• RQ1 時系列データにおける異常検出において、TCNとLSTMモデルのF1スコアはどのように比較されるか？
• RQ2 検証損失の挙動に基づいて、TCNとLSTMのどちらがより優れた学習安定性と収束速度を示すか？
• RQ3 TCNモデルは、LSTMモデルよりも少ないエポック数で最適な性能に到達するか？
• RQ4 精度、再現率、F1スコアの観点から、TCNモデルの性能はベースラインのGTAモデルと比べてどうか？
• RQ5 時系列異常検出におけるTCNとLSTMアーキテクチャにおいて、モデルの複雑さと性能のトレードオフは何か？

主な発見

• TCNモデルはF1スコア0.920を達成し、3層の隠れ層を持つLSTMモデル（F1 = 0.901）および1層のLSTMモデル（F1 = 0.874）をわずかに上回った。
• TCNモデルは、より滑らかで一貫性のある検証損失曲線と、LSTMモデルよりも少ない振動を示し、優れた学習安定性を示した。
• TCNモデルはより少ないエポック数で最適な性能に到達し、LSTMモデルよりも早く近似的に最適な検証損失に到達した。これは、収束が速いことを示している。
• 3つのモデル（TCN、1層LSTM、3層LSTM）とも精度が0.94以上を達成しており、良好な陽性予測力があることが示された。
• TCNモデルの再現率は0.903であり、1層LSTM（0.819）および3層LSTM（0.864）を上回り、実際の異常をより効果的に検出できることを示した。
• TCNモデルは、F1スコアが0.840未満であったGTAベースラインモデルを著しく上回り、TCNおよびLSTMモデルはすべてこの閾値を超えた。