[論文レビュー] Innovations Autoencoder and its Application in One-class Anomalous Sequence Detection

Xinyi Wang, Lang Tong|arXiv (Cornell University)|Jun 23, 2021

Anomaly Detection Techniques and Applications参考文献 49被引用数 8

ひとこと要約

本稿では、因果的畳み込みネットワークとワサーベインGANを用いて、未知の非ガウス分布に従う時系列から統計的に独立で同一分布に従う変動項（innovations）系列を抽出する深層学習フレームワーク、イノベーションオートエンコーダー（IAE）を提案する。この手法により、一クラスの異常時系列検出が有効に可能となり、BESSおよびUTKデータセットでそれぞれ0.8354および0.9135のSOTA水準のAUROCスコアを達成し、微細な異常を含む困難な状況下でもANICA、OCSVM、F-AnoGANを上回る性能を示した。

ABSTRACT

An innovations sequence of a time series is a sequence of independent and identically distributed random variables with which the original time series has a causal representation. The innovation at a time is statistically independent of the history of the time series. As such, it represents the new information contained at present but not in the past. Because of its simple probability structure, an innovations sequence is the most efficient signature of the original. Unlike the principle or independent component analysis representations, an innovations sequence preserves not only the complete statistical properties but also the temporal order of the original time series. An long-standing open problem is to find a computationally tractable way to extract an innovations sequence of non-Gaussian processes. This paper presents a deep learning approach, referred to as Innovations Autoencoder (IAE), that extracts innovations sequences using a causal convolutional neural network. An application of IAE to the one-class anomalous sequence detection problem with unknown anomaly and anomaly-free models is also presented.

研究の動機と目的

• 非ガウス的で未知の定常時系列から変動項系列を抽出する計算的に実行可能な手法の開発。
• 基礎プロセスにパrametricな仮定を設けない状態で変動項系列を抽出するという未解決問題への対処。
• 未知の時系列的・確率的構造を有する時系列におけるリアルタイムで因果的な表現学習の実現。
• 正常モデルおよび異常モデルが未知である状況下で、学習済みの変動項表現を一クラス異常検出に応用すること。
• 実世界および合成時系列における微細で識別が困難な異常を検出する際の優れた性能の実証。

提案手法

• 過去の時系列観測を潜在的変動項系列にマップするための因果的畳み込みニューラルネットワーク（CNN）をエンコーダーとして提案。
• 潜在系列がi.i.d.（独立同分布）に従うように保証するため、ワサーベインGANに基づく学習目的関数を採用。
• 因果性と情報保存を保証するため、変動項系列から元の時系列を再構築する因果的デコーダー・ネットワークを用いる。
• 有限ブロック収束定理（定理1）を適用し、IAEの高次元実装が理想の変動項表現を近似できることを保証。
• 歴史的かつ異常なしの時系列データを用いて、エンドツーエンドでIAEを学習し、データ駆動型かつ非パラメトリックな表現を学習。
• 帰無仮説としての正常性の下で潜在コードのi.i.d.性をテストすることで、学習済みの変動項系列を一クラス異常検出に応用。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、非ガウス的で未知の定常時系列から統計的に独立かつ同一分布に従う変動項系列を抽出できるか？
• RQ2 提案されたイノベーションオートエンコーダー（IAE）は、現実的な学習条件下で理想の変動項表現への有限ブロック収束を達成するか？
• RQ3 正常モデルおよび異常モデルが未知である状況下で、IAEベースの表現は既存手法を上回る一クラス異常時系列検出性能を示せるか？
• RQ4 正常信号と異常信号の周辺分布がほぼ同一である場合、IAEは微細な異常をどれほど効果的に検出できるか？
• RQ5 周辺統計では区別できないが、時系列的依存構造に差異がある異常をIAEは検出できるか？

主な発見

• BESSデータセットでは、IAEがAUROC 0.8354を達成し、ANICA（0.5027）、OCSVM（0.4903）、F-AnoGAN（0.4993）を顕著に上回り、微細な電力系統異常の検出効果を示した。
• 40dB SNRのガウス混合ノイズを含むUTKデータセットでは、IAEがAUROC 0.9135を達成し、全手法中最も高いスコアを記録し、微小で複雑な異常に対する頑健性を示した。
• SYN1では、異常データと正常データの周辺分布が同一であるため、IAEがAUROC 0.9021を達成し、漸近的に最適なクエヌイユ検出器（0.9112）に近く、時間的構造への感受性を証明した。
• SYN2では、周辺分布はわずかに異なるが、時間的依存性に顕著な差異があるため、IAEがAUROC 0.9635を達成し、ANICA（0.6337）、OCSVM（0.5407）、F-AnoGAN（0.5020）を上回り、構造的差異の捉え具合を強調した。
• IAEフレームワークは、複雑で非ガウス的な時系列から、潜在的i.i.d.表現を効果的に抽出でき、従来手法が失敗する状況下でも信頼性の高い異常検出を可能にした。
• 有限ブロック収束定理（定理1）により、適切な学習条件下で高次元IAE実装が理想の変動項表現を近似可能であるという理論的裏付けが与えられた。