[論文レビュー] An LSTM-Based Predictive Monitoring Method for Data with Time-varying Variability

Jiaqi Qiu, Yu Lin+1 more|arXiv (Cornell University)|Sep 5, 2023

Fault Detection and Control SystemsEngineering被引用数 3

ひとこと要約

本稿では、時間変動するばらつきを示す時系列データにおける異常を検出するために、明示的にデータの不確実性をモデル化した予測区間を用いたLSTMベースの予測監視手法を提案する。教師なしデータで学習し、動的分散を定量化することで、特に非定常なノイズ条件下において、従来のニューラルネットワークベースの手法よりも平均シフト検出で優れた性能を発揮する。

ABSTRACT

The recurrent neural network and its variants have shown great success in processing sequences in recent years. However, this deep neural network has not aroused much attention in anomaly detection through predictively process monitoring. Furthermore, the traditional statistic models work on assumptions and hypothesis tests, while neural network (NN) models do not need that many assumptions. This flexibility enables NN models to work efficiently on data with time-varying variability, a common inherent aspect of data in practice. This paper explores the ability of the recurrent neural network structure to monitor processes and proposes a control chart based on long short-term memory (LSTM) prediction intervals for data with time-varying variability. The simulation studies provide empirical evidence that the proposed model outperforms other NN-based predictive monitoring methods for mean shift detection. The proposed method is also applied to time series sensor data, which confirms that the proposed method is an effective technique for detecting abnormalities.

研究の動機と目的

• 従来の制御図や統計モデルが厳密な定常性仮定を必要とするため、時間変動するばらつきを示すセンサー時系列データにおける異常検知の課題に対処すること。
• 深層学習ベースの異常検知がラベル付きデータに依存するのを克服し、次ステップ予測を教師信号として用いて、ラベルなし時系列データに直接LSTMモデルを学習させること。
• データの不確実性を明示的にモデル化することで、変化するノイズレベルに適応するリアルタイムの予測監視フレームワークを構築し、動的環境における検出のロバスト性を向上させること。
• ラベル付きデータが利用不可または信頼できない状況を想定し、シミュレーテッドデータおよび実世界のセンサー時系列データを用いて、本手法の有効性を検証すること。
• 既存のニューラルネットワークベースの監視手法と比較して、非定常なばらつき下での平均シフト検出において優れた性能を示すことを実証すること。

提案手法

• 過去の観測値の系列を入力として、1ステップ先の時系列値を予測する1変量LSTMモデルを学習し、異常ラベルの必要性を排除する。
• 予測誤差の分散をモデル化することで予測区間を推定するデータ不確実性の定量化モジュールを導入し、適応的検出しきい値の実現を可能にする。
• LSTMで予測された平均値と予測区間の境界に基づく制御図を構築し、観測値が区間外に出た場合に異常信号を発動する。
• 分散の別個モデル化（2番目のヘッドまたは補助出力として）により、時間に依存するノイズ特性を捉え、不等分散性へのロバスト性を向上させる。
• 実世界の振動センサーおよびエスカレーターのセンサー時系列データに本手法を適用し、ラベルなしで非定常なデータを用いた産業用監視応用における実用性を示す。
• CED（累積誤差距離）、DR（検出率）、再現率といった指標を用いて性能を比較し、不確実性モデル化の影響を分離するためのアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 LSTMベースの予測監視手法は、時間変動するばらつきを示す時系列データにおける平均シフト検出を、従来のニューラルネットワークベースの手法よりも効果的に実行できるか？
• RQ2 予測区間によるデータ不確実性の明示的モデル化は、分散推定なしの標準的なLSTM予測と比較して、異常検知性能をどのように向上させるか？
• RQ3 本手法は、産業用センサー時系列データに一般的に見られる非定常的でノイズの多い環境において、誤検出を低減し、検出速度を向上させる程度はどの程度か？
• RQ4 ランダムシードやシミュレーション設定の変化に対して、本手法はどの程度安定的で汎用的か？
• RQ5 本手法は、ラベル付きトレーニング例が不要な状況でも、実世界のセンサー時系列データに効果的に適用可能か？

主な発見

• 不確実性定量化を組み込んだ提案手法は、ベースラインモデルと比較して平均シフト検出において顕著に優れた性能を発揮し、特に高AR(1)パラメータ（例：φ=0.9）下で顕著な差を示す。φ=0.9、δ=2.0の条件下で、アブレーションモデルBではCEDに13.3%の絶対的差が生じた。
• φ=0.9、δ=2.0の条件下で、本手法は検出率（DR）が100%に達する一方、アブレーションモデルBは同条件で94%にとどまる。
• エスカレーターの事例研究において、本手法は時間変動するばらつきを示す実際のセンサー時系列データから異常を効果的に検出でき、実用性と有効性を確認した。
• アブレーションスタディにより、分散の別個モデル化が極めて重要であることが確認された。この構成を除外すると、特に高ノイズまたは非定常な環境下で性能が著しく低下する。
• 異なるランダムシードにおいても、本手法は安定した性能を維持し、ほとんどの指標変化が5%未満にとどまるため、多様なシミュレーション条件下でのロバスト性と信頼性を示した。
• δ=2.0、φ=0.9の条件下で、本手法は再現率57.62%を達成し、RNNベースライン（42.61%）およびアブレーションモデルを上回る性能を示し、複雑なばらつき下での優れた検出能力を実証した。