[論文レビュー] Normalizing flows for novelty detection in industrial time series data

Maximilian Schmidt, Marko Šimić|arXiv (Cornell University)|Jun 17, 2019

Anomaly Detection Techniques and Applications参考文献 11被引用数 23

ひとこと要約

本稿では、工業分野の時系列データにおける異常検出に、正規化フロー（特にマスク付き自己回帰フロー（MAF）およびMADE制約を適用したFFJORD）を用いる手法を提案する。可逆変換を用いて正常データの分布を学習することで、正確な尤度スコアを計算し、異常を検出する。合成データおよび実際のモーター電流データにおいて、ローカル・アウトライア・ファクター（LOF）を上回る性能を示し、実世界の工業的時系列データにおいてほぼ完璧な精度を達成した。

ABSTRACT

Flow-based deep generative models learn data distributions by transforming a simple base distribution into a complex distribution via a set of invertible transformations. Due to the invertibility, such models can score unseen data samples by computing their exact likelihood under the learned distribution. This makes flow-based models a perfect tool for novelty detection, an anomaly detection technique where unseen data samples are classified as normal or abnormal by scoring them against a learned model of normal data. We show that normalizing flows can be used as novelty detectors in time series. Two flow-based models, Masked Autoregressive Flows and Free-form Jacobian of Reversible Dynamics restricted by autoregressive MADE networks, are tested on synthetic data and motor current data from an industrial machine and achieve good results, outperforming a conventional novelty detection method, the Local Outlier Factor.

研究の動機と目的

• 訓練データに異常データを含めない状況下で、フローに基づく深層生成モデルが工業的時系列データにおける異常検出に有効に機能するかを調査すること。
• 従来の手法（例：ローカル・アウトライア・ファクター（LOF））と比較して、正規化フロー（特にMAFおよびMADE制約を適用したFFJORD）の異常検出性能を評価すること。
• フロー・モデルが、後続の欠际分析や異常シミュレーションに使用可能な、現実的な合成正常時系列データを生成できる能力を示すこと。
• フロー・モデルを用いて正常状態から異常状態への遷移を学習する可能性を検討し、工業システムにおける故障モード分析を可能にするかを調査すること。

提案手法

• シンプルな基本分布からの可逆的・自己回帰的変換として、時系列データをモデル化するためのマスク付き自己回帰フロー（MAF）にMADEアーキテクチャを適用した。
• 自由形式のヤコビアンを有する逆方向動的変換（FFJORD）にMADE制約を適用し、連続時間の正規化フローを学習することで、時間的依存性を柔軟かつ微分可能な形でモデル化した。
• 変数変換の公式を用いて尤度を計算し、未観測の時系列サンプルをスコア化した。尤度が低いサンプルは潜在的な異常を示すと判断した。
• 訓練は正常データのみに限定し、ホールドアウトした正常および異常サンプルを用いて異常検出性能を評価した。
• 正常および異常データの両方に平均値ゼロ化を適用し、時間的自己相関の違いを分離することで、モデルの汎化性能を向上させた。
• 学習済み潜在分布からサンプリングし、逆方向のフロー変換を通すことで、新たな合成時系列データを生成した。

実験結果

リサーチクエスチョン

• RQ1 正常データのみで訓練された場合、正規化フローが工業的時系列データにおける異常検出を効果的に実行できるか？
• RQ2 MAFおよびMADE制約を適用したFFJORDは、従来の手法（例：LOF）と比較して、時系列データにおける異常検出性能でどのように差をつけるか？
• RQ3 フローに基づくモデルが、工業的時系列データにおける現実的な時間的自己相関をどの程度正確に捉え、再現できるか？
• RQ4 フロー・モデルは、正常分布からの時間的自己相関パターンの逸脱を学習することで、異常データを検出できるか？
• RQ5 訓練済みのフロー・モデルを用いて、異常状態への遷移をシミュレートし、工業システムにおける故障モード分析に応用することが可能か？

主な発見

• MAFおよびFFJORD+MADEモデルは、合成データおよび実際の工業的時系列データにおいて、ローカル・アウトライア・ファクター（LOF）を上回る異常検出性能を示した。
• 実際のモーター電流データにおいて、両フロー・モデルはほぼ完璧な分類性能を達成し、真正陽性率は100%、偽陽性率は0.5%以下であった。
• FFJORD+MADEモデルは、十分な訓練を経た後、異常データに適用した際に不安定性を示し、学習済みの正常分布から発散した。
• 異常サンプルは潜在空間において白色ノイズから著しく逸脱しており、モデルが異常パターンを明確に識別できていることを裏付けた。
• 正常および異常サンプルの尤度スコアが明確に分離されており、偽陽性率0%、真正陽性率100%を達成する意思決定境界を設定可能であった。
• 訓練済みモデルは、実際の正常データの経験的自己相関と一致する合成時系列データを効果的に生成できており、分布学習の有効性を示した。