[論文レビュー] A Novel Anomaly Detection Algorithm for Hybrid Production Systems based on Deep Learning and Timed Automata

Nemanja Hranisavljevic, Oliver Niggemann+1 more|arXiv (Cornell University)|Oct 29, 2020

Fault Detection and Control Systems参考文献 15被引用数 7

ひとこと要約

本論文は、ハイブリッド生産システムにおける異常検出のための新しい深層学習および時刻自動機ベースのアルゴリズム、DAD: DeepAnomalyDetectionを提案する。深層信念ネットワークを用いて連続信号を離散的パターンに変換し、時刻自動機を用いて離散的および連続的信号を統合的にモデル化することで、タイミング異常、予期しない出来事、および新しいパターンの有効な検出を実現し、実データおよび合成データセットで有望な結果を得た。

ABSTRACT

Performing anomaly detection in hybrid systems is a challenging task since it requires analysis of timing behavior and mutual dependencies of both discrete and continuous signals. Typically, it requires modeling system behavior, which is often accomplished manually by human engineers. Using machine learning for creating a behavioral model from observations has advantages, such as lower development costs and fewer requirements for specific knowledge about the system. The paper presents DAD:DeepAnomalyDetection, a new approach for automatic model learning and anomaly detection in hybrid production systems. It combines deep learning and timed automata for creating behavioral model from observations. The ability of deep belief nets to extract binary features from real-valued inputs is used for transformation of continuous to discrete signals. These signals, together with the original discrete signals are than handled in an identical way. Anomaly detection is performed by the comparison of actual and predicted system behavior. The algorithm has been applied to few data sets including two from real systems and has shown promising results.

研究の動機と目的

• 離散的および連続的信号の複雑な相互作用を伴うハイブリッド生産システムにおける異常検出の課題に対処すること。
• 観測データからの自動的行動モデル学習を可能にすることで、人的で専門的知識に依存するシステムモデル構築の依存度を低減すること。
• 深層学習に基づく離散化を用いて、異常検出における離散的および連続的信号の統一的取り扱いを実現すること。
• 学習された時刻自動機を用いて、タイミング関連の異常、予期しない出来事、および新しいパターンの検出を可能にすること。
• 実世界および合成データ上でアプローチを評価し、実用的妥当性および頑健性を示すこと。

提案手法

• 連続信号にスライディングウインドウを適用して、深層信念ネットワーク（DBN）の入力シーケンスを形成する。
• DBNは教師なし特徴学習を実行し、実数値の連続信号をその上位層でのバイナリ活性化パターンに変換する。
• 得られたバイナリパターンと元の離散的信号を組み合わせ、モデル学習のための離散的イベントとして扱う。
• 離散的イベントのシーケンスから時刻自動機を学習し、時間的制約を伴うシステムの正常動作を表現する。
• 学習された時刻自動機が生成する予測と実際のシステム動作を比較することで異常を検出する。
• 予期しない初期状態、新しいパターン、未知の出来事、および時間的ずれの検出をサポートする。

実験結果

リサーチクエスチョン

• RQ1 深層信念ネットワークは、産業システムの連続センサ信号から意味的な離散的表現を効果的に抽出できるか？
• RQ2 時刻自動機に基づく統合モデルは、ハイブリッド生産システムにおける離散的および連続的信号の結合的動作を正確に表現できるか？
• RQ3 提案されたDADアルゴリズムは、実データおよび合成データ上で、タイミングのずれ、予期しない遷移、新しいパターンなどのさまざまな種類の異常をどれほど効果的に検出できるか？
• RQ4 データ前処理の選択（例：ウインドウサイズ、オーバーラップ）が、異常検出システムの性能に与える影響は何か？
• RQ5 手動による再設定を必要とせずに、モデルが未観測の異常に対してどれほど一般化できるか？

主な発見

• ストレージシステムの実験では、サイクルの開始時に人工的に追加されたガウスノイズの44％が予期しない初期状態として検出された一方、40％は新しいパターンとして分類された。
• ATMカードリーダーシステムでは、信号がゼロに低下した場合の50％が新しいパターンとして検出され、45％が未知の出来事として分類された。これは、急激な変化に対する高い感受性を示している。
• カードリーダーシステムにおいて、状態28から27への状態遷移が期待される動作から逸脱した場合に、異常として正しく検出された。
• カードリーダーのデータでは、ラムプ上昇信号の15％が正常と分類されたが、35％が未知の出来事として検出された。これは、徐々に進行する異常に対しても反応が早いことを示している。
• 可視化分析により、DBNがエネルギー信号から意味的なパターンを学習していることが確認され、時刻自動機がシーケンス依存の動作を正しく捉えていることが示された。
• 訓練データが限られている場合でも、同じ入力パターンが同じ離散的状態に一貫してマッピングされない場合でも、異常検出においてモデルが頑健に機能した。