[論文レビュー] Multivariate Industrial Time Series with Cyber-Attack Simulation: Fault Detection Using an LSTM-based Predictive Data Model

Pavel Nikolaevich Filonov, Andrey Lavrentyev+1 more|arXiv (Cornell University)|Dec 20, 2016

Advanced Data Processing Techniques被引用数 90

ひとこと要約

本論文では、Modelicaベースのガソイルプラントモデルを用いてサイバー攻撃をシミュレートすることで、多変量産業時系列における故障検出のためのLSTMベースの予測モデルを提案する。この手法は予測誤差のしきい値を用いて異常を検出し、最適なハイパーパrameter設定下でF1スコア0.872を達成し、PCA や FDA といった古典的手法よりも、バランスの取れた精度・再現率のトレードオフを実現する。

ABSTRACT

We adopted an approach based on an LSTM neural network to monitor and detect faults in industrial multivariate time series data. To validate the approach we created a Modelica model of part of a real gasoil plant. By introducing hacks into the logic of the Modelica model, we were able to generate both the roots and causes of fault behavior in the plant. Having a self-consistent data set with labeled faults, we used an LSTM architecture with a forecasting error threshold to obtain precision and recall quality metrics. The dependency of the quality metric on the threshold level is considered. An appropriate mechanism such as "one handle" was introduced for filtering faults that are outside of the plant operator field of interest.

研究の動機と目的

• 産業用多変量時系列におけるデータ駆動型の故障検出システムを構築し、サイバー攻撃によって引き起こされる異常を検出すること。
• 実際の産業システムではラベル付きの故障データが不足しているという課題に対処するため、モデルの操作を用いて因果的に整合性のある合成故障シナリオを生成すること。
• 予測誤差に基づくしきい値を用いた異常検出手法を適用したLSTMベースの予測モデルの、サイバー誘発プロセス故障の検出性能を評価すること。
• ベンチマーク用に利用可能な、ラベル付きの故障を含む自己一貫性のある公開データセットを提供すること。
• 検出パイプラインにおける可変しきい値パrameterを用いて、誤検出率と誤り検出率のトレードオフを探索すること。

提案手法

• センサーや制御信号を含む、実際の産業プロセスの挙動を再現するModelicaベースのガソイル加熱ループのシミュレーションを構築した。
• モデル論理に4種類のサイバー攻撃を挿入した—具体的には、最大RTレベルのセットポイントに対する不正な変更を加えた—これによりラベル付きの故障データが生成された。
• 多変量時系列の時間的依存関係を学習し、将来の値を予測するために、正常動作のデータのみを用いてLSTMニューラルネットワークを訓練した。
• 予測値と実測値との間の予測誤差を計算し、誤差分布のしきい値（例：0.999分位数）を用いて正常動作と異常動作を分類した。
• 複数のしきい値レベルおよびハイパーパrameter設定（例：シーケンス長、ドロップアウト率）において、精度、再現率、F1スコアを算出した。
• 「ワンハンドル」フィルタリング機構を導入し、運用者にとっての関心領域外の故障を除外することで、実用的意義を向上させた。

実験結果

リサーチクエスチョン

• RQ1 LSTMベースの予測モデルは、多変量産業時系列において、サイバー攻撃に起因する故障を高い精度と再現率で検出できるか？
• RQ2 予測誤差のしきい値の選定が、故障検出における誤検出と誤り検出のバランスにどのように影響するか？
• RQ3 F1スコアおよび耐性の観点から、LSTMベースの手法はPCA、FDA、PLSといった古典的手法と比較してどの程度優れているか？
• RQ4 モデル操作による合成故障データの生成は、リアルタイムの異常検出システムの訓練および検証にどの程度活用可能か？
• RQ5 しきい値を調整することで、産業監視システムにおけるアラート頻度と検出精度の望ましいトレードオフを達成できるか？

主な発見

• LSTMベースのモデルはドロップアウト確率0.1、シーケンス長60の設定でF1スコア0.872を達成し、PCA（F1：0.673）やFDA（F1：0.308）を上回った。
• 最高のF1スコア0.804は、シーケンス長120およびドロップアウト確率0.5の設定で達成され、ハイパーパrameter設定の多様な条件下でも優れた性能を示した。
• OneClassSVMは最高の再現率（0.885）を達成したが、精度は低く（0.422）なったため、異常検出における誤検出の課題が浮き彫りになった。
• 精度と再現率の指標はしきい値レベルに強く依存しており、運用環境における誤検出率の調整が可能であることが示された。
• 初期のセットポイント変更が隠されていた場合でも、サブプロセスが正常動作条件を超えた段階ですぐに故障を検出できたため、早期検出能力が裏付けられた。
• 経験的誤差分布の0.999分位数をしきい値として用いることで、故障検出意思決定の堅牢な下限が得られた。