[論文レビュー] LSTM-based Encoder-Decoder for Multi-sensor Anomaly Detection

Pankaj Malhotra, Anusha Ramakrishnan+4 more|arXiv (Cornell University)|Jul 1, 2016

Anomaly Detection Techniques and Applications参考文献 18被引用数 345

ひとこと要約

要約: 本論文は EncDec-AD を提案する。通常のマルチセンサー時系列のみを訓練データとして用い、再構成誤差を通じて異常を検出する LSTM エンコーダ-デコーダであり、予測可能なシーケンスにも予測不能なシーケンスにも効果的である。さまざまな実データセットで評価し、さまざまな時系列パターンに対して頑健な異常検出を示す。

ABSTRACT

Mechanical devices such as engines, vehicles, aircrafts, etc., are typically instrumented with numerous sensors to capture the behavior and health of the machine. However, there are often external factors or variables which are not captured by sensors leading to time-series which are inherently unpredictable. For instance, manual controls and/or unmonitored environmental conditions or load may lead to inherently unpredictable time-series. Detecting anomalies in such scenarios becomes challenging using standard approaches based on mathematical models that rely on stationarity, or prediction models that utilize prediction errors to detect anomalies. We propose a Long Short Term Memory Networks based Encoder-Decoder scheme for Anomaly Detection (EncDec-AD) that learns to reconstruct 'normal' time-series behavior, and thereafter uses reconstruction error to detect anomalies. We experiment with three publicly available quasi predictable time-series datasets: power demand, space shuttle, and ECG, and two real-world engine datasets with both predictive and unpredictable behavior. We show that EncDec-AD is robust and can detect anomalies from predictable, unpredictable, periodic, aperiodic, and quasi-periodic time-series. Further, we show that EncDec-AD is able to detect anomalies from short time-series (length as small as 30) as well as long time-series (length as large as 500).

研究の動機と目的

• 外部要因によりデータが非定常かつ予測不能になる場合の多変量センサ時系列における異常検知の動機付け。
• 正常系列で訓練された LSTM ベースのエンコーダ-デコーダ EncDec-AD を提案し、入力を再構成することで再構成誤差から異常を検出。
• 予測可能・予測不能・周期的・非周期的・準周期的な時系列全般に対する頑健性を示す。
• 短いシーケンスと長いシーケンスの両方での有効性を示し、予測ベースの異常検知法と比較。

提案手法

• 正常な時系列を再構成するように目標系列を反転させて LSTM エンコーダ-デコーダを訓練する。
• エンコーダの最終状態をデコーダの初期状態として用い、デコーダの上に置いた線形層で次の値を予測する。
• 再構成誤差 e(i)=|x(i)−x'(i)| を計算し、検証データ上でガウス分布を用いて異常度を推定し、異常スコア a(i) を得る。
• 検証データ上で学習済みの閾値を超えるスコアを持つウィンドウを異常としてラベル付けする。
• 複数データセット（Power Demand, Space Shuttle, ECG, Engine-P）で、異なるダイナミクスを持つ状況で性能を評価する。
• 任意で EncDec-AD を LSTM-AD（予測ベース）と比較し、予測が失敗する場所での頑健性を強調する。

実験結果

リサーチクエスチョン

• RQ1 正常なシーケンスのみで訓練された LSTM エンコーダ-デコーダは、予測不能かつ準周期的なデータを含む多変数センサ時系列の異常を検出できるか。
• RQ2 再構成ベースの異常スコアリングは、予測可能・予測不能・周期的な時間パターン全般でどの程度性能を発揮するか。
• RQ3 多様なデータセットに対して EncDec-AD は予測ベースの異常検知と比較してどのような長所を持つか。
• RQ4 このアプローチを用いて、30程度の短いシーケンスでも効果的に異常を検出できるか。
• RQ5 パラメータ選択（L、c、閾値）がデータセット間の検出性能にどのように影響するか。

主な発見

Dataset	L	c	β	P	R	Fβ-score	TPR/FPR
Power Demand	84	40	0.1	0.92	0.04	0.77	33.0
Space Shuttle	500	50	0.05	0.83	0.08	0.81	4.9
Engine-P	30	40	0.05	0.94	0.02	0.82	13.8
Engine-NP	30	90	0.05	1.0	0.01	0.83	∞
ECG	208	45	0.05	1.0	0.005	0.65	∞

• EncDec-AD は全データセットで高い正の尤度比を示し、異常点の異常スコアが正常点より高いことを示している。
• 手法は予測可能・予測不能・周期的・非周期的・準周期的な時系列で異常を検出する。
• 予測可能なデータセットでは予測ベースの LSTM-AD が一部のタスクでより良い場合があるが、予測不能なシーケンス（Engine-NP）では EncDec-AD が顕著に優れている。
• Engine-NP は Fβ=0.93、TPR/FPR が高く、予測不能な状況での頑健性を示す。
• Power demand, space shuttle, Engine-P は、L、c、閾値設定を変えた場合でも EncDec-AD の強力な性能を示す。
• ECG は準周期的であるが、再構成ベースのアプローチにより有意な異常検出性能を示す。