[論文レビュー] Detecting Anomalies within Time Series using Local Neural Transformations

Tim Schneider, Chen Qiu+5 more|arXiv (Cornell University)|Feb 8, 2022

Anomaly Detection Techniques and Applications被引用数 8

ひとこと要約

この論文は、自己教師あり深層学習手法であるローカルニューラル変換（LNT）を提案する。LNTは、時間系列の表現と局所的ニューラル変換を同時に学習することで、タイムステップレベルでの異常検出を実現する。LNTは、信号遅延などの解釈可能で多様な変換を学習することで、表現学習と変換学習を統合する新しい訓練目的を用い、状態を凌駕する異常検出性能を達成する。

ABSTRACT

We develop a new method to detect anomalies within time series, which is essential in many application domains, reaching from self-driving cars, finance, and marketing to medical diagnosis and epidemiology. The method is based on self-supervised deep learning that has played a key role in facilitating deep anomaly detection on images, where powerful image transformations are available. However, such transformations are widely unavailable for time series. Addressing this, we develop Local Neural Transformations(LNT), a method learning local transformations of time series from data. The method produces an anomaly score for each time step and thus can be used to detect anomalies within time series. We prove in a theoretical analysis that our novel training objective is more suitable for transformation learning than previous deep Anomaly detection(AD) methods. Our experiments demonstrate that LNT can find anomalies in speech segments from the LibriSpeech data set and better detect interruptions to cyber-physical systems than previous work. Visualization of the learned transformations gives insight into the type of transformations that LNT learns.

研究の動機と目的

• 時間系列の異常検出における有効なデータ拡張技術、特にタイムステップレベルの局所的異常に対する不足を是正すること。
• 自己教師あり手法として、時間系列の表現と局所的ニューラル変換を同時に学習し、異常検出性能を向上させること。
• 表現学習と変換学習のエンドツーエンド訓練を可能にし、自明な解を回避し、微細で局所的な異常の検出を向上させること。
• 変換の可視化により、学習された変換の解釈可能性を提供し、信号遅延などの意味的意味のある操作を明らかにすること。
• 対照学習やオートエンコーダベースのベースラインと比較して、局所的表現学習と変換学習を組み合わせることで、より優れた異常検出が達成されることを実証的に検証すること。

提案手法

• LNTは、時間系列ウィンドウから潜在表現を抽出するニューラルネットワークエンコーダを用い、その後に、潜在空間で動的かつパラメータ化された変換を適用する学習可能な変換モジュールを設ける。
• 本手法は、時間系列ウィンドウとその変換されたビューの表現が類似するよう促す対照学習の目的関数を採用する一方で、他のビューと対照的にする。
• 表現の質と意味のある変換の多様性を促進するため、エンコーダと同時にエンドツーエンドで変換が学習される。
• モデルは、局所的ニューラル変換を組み込んだ対照予測符号化（CPC）フレームワークを用いて訓練され、再構成誤差または対照的損失に基づく異常スコアリングが可能になる。
• 変換の解釈のため、元のデータを変換された潜在埋め込みから再構成する別個のデコーダを訓練し、データ空間における変換効果の可視化を可能にする。
• 本手法は、対照的損失から得られる異常スコアを用いて評価され、推論時に負例を必要としないため、実用的な展開が可能になる。

実験結果

リサーチクエスチョン

• RQ1 固定または手作業で設計されたデータ拡張と比較して、学習可能な局所的ニューラル変換は、時間系列の異常検出を改善できるか？
• RQ2 表現学習と変換学習を統合的に学習することで、自明な解を回避し、局所的異常の検出を向上させられるか？
• RQ3 信号ダイナミクス（例：遅延や歪曲）の観点から、学習された変換は意味的に解釈可能か？
• RQ4 CPCベースの異常スコアリングやCPC特徴量を用いたOC-SVMといった強力なベースラインと比較して、LNTは実世界の時間系列データで優れた性能を示すか？
• RQ5 LNTは、時間的ダイナミクスが極めて非線形である複雑な時間系列（例：音声やサイバーフィジカルシステム）において、微細な異常を検出できるか？

主な発見

• LNTは、サイバーフィジカルシステムの3つのベンチマークデータセットにおいて、CPCベースの異常スコアリングやCPC特徴量を用いたOC-SVMといったベースライン手法を常に上回る性能を発揮した。
• LNTは、LibriSpeechデータセットからの音声データにおける異常検出で、最先端の性能を達成し、人工的な途切れを高い精度で検出できた。
• 可視化結果から、LNTは信号遅延の挿入や変更といった解釈可能な変換を学習していることが明らかになった。これは、データ内に意味的な時間的ダイナミクスと整合していた。
• LNTの目的関数を通じて、表現学習と変換学習を統合することで、データのより強固で多様なビューが得られ、局所的異常の検出性能が向上した。
• LNTの異常スコアリング機構は決定論的であり、テスト時に負例を必要としないため、簡潔かつ信頼性の高い推論が可能になった。
• 理論的分析により、統合学習目的関数が自明な解を防ぎ、異常検出に意味のある変換が保証されることを確認した。