[論文レビュー] Unsupervised Online Anomaly Detection On Irregularly Sampled Or Missing Valued Time-Series Data Using LSTM Networks

Oğuzhan Karaahmetoğlu, Fatih İlhan+2 more|arXiv (Cornell University)|May 25, 2020

Anomaly Detection Techniques and Applications参考文献 1被引用数 4

ひとこと要約

本稿では、時間に依存するLSTMアーキテクチャとサポートベクターデータ記述（SVDD）を組み合わせることで、不規則にサンプリングされたまたは欠損値を含む時系列データに対するエンドツーエンドの教師なしオンライン異常検出フレームワークを提案する。本手法はハイブリッド損失関数を用いて特徴抽出と1クラス分類を共同最適化し、不規則なサンプリングや欠損データ下でも時間的依存性を効果的にモデル化することで、標準的手法を著しく上回る性能を発揮する。

ABSTRACT

We study anomaly detection and introduce an algorithm that processes variable length, irregularly sampled sequences or sequences with missing values. Our algorithm is fully unsupervised, however, can be readily extended to supervised or semisupervised cases when the anomaly labels are present as remarked throughout the paper. Our approach uses the Long Short Term Memory (LSTM) networks in order to extract temporal features and find the most relevant feature vectors for anomaly detection. We incorporate the sampling time information to our model by modulating the standard LSTM model with time modulation gates. After obtaining the most relevant features from the LSTM, we label the sequences using a Support Vector Data Descriptor (SVDD) model. We introduce a loss function and then jointly optimize the feature extraction and sequence processing mechanisms in an end-to-end manner. Through this joint optimization, the LSTM extracts the most relevant features for anomaly detection later to be used in the SVDD, hence completely removes the need for feature selection by expert knowledge. Furthermore, we provide a training algorithm for the online setup, where we optimize our model parameters with individual sequences as the new data arrives. Finally, on real-life datasets, we show that our model significantly outperforms the standard approaches thanks to its combination of LSTM with SVDD and joint optimization.

研究の動機と目的

• ラベル付きデータが乏しくない場合の、不規則にサンプリングされたまたは欠損値を含む時系列データにおける異常検出の課題に対処すること。
• 時間的依存性を持つ可変長シーケンスを処理できる、完全に教師なしでオンライン学習可能なフレームワークを構築すること。
• エキスパートによる特徴選択の必要性を排除し、エンドツーエンドで特徴抽出と異常分類を共同最適化すること。
• サンプリング間隔の情報をLSTMアーキテクチャに統合し、非一様なサンプリング下での時間的パターンのモデル化を向上させること。
• 逐次的勾配更新を用いたオンライン学習アルゴリズムにより、リアルタイムでの適応を可能とすること。

提案手法

• 間隔時間に基づいて隠れ状態をスケーリングする時間に依存するゲートを備えた変更版LSTM（M-LSTM）を導入し、不規則なサンプリングの処理を効果的に行う。
• 欠損値を含むシーケンスの時間的構造を保持するために訓練中に再構成損失を用い、特徴表現の質を向上させる。
• 学習済みの時間的特徴に基づいて異常を検出する1クラス分類器として、サポートベクターデータ記述（SVDD）を採用する。
• 再構成損失とSVDDマージン損失を組み合わせた複合損失関数を用いてLSTMとSVDDのコンポonentを共同最適化し、エンドツーエンド学習を可能にする。
• 新しいシーケンスが到着するたびに逐次的にモデルパラメータを更新するオンライン学習アルゴリズムを設計し、リアルタイムデプロイメントを可能にする。
• 訓練中にランダムなシーケンスのドロップを適用し、不規則なサンプリングに対する耐性を高める。

実験結果

リサーチクエスチョン

• RQ1 ラベル付きデータが不要な状況下でも、時間に依存するゲートを備えた修正LSTMアーキテクチャが、不規則にサンプリングされたまたは欠損値を含む時系列データを効果的にモデル化できるか。
• RQ2 LSTMに時間に依存するゲートを組み込むことで、標準的または加法的な時間インジェクションLSTMと比較して性能がどのように向上するか。
• RQ3 特徴抽出と1クラス分類のエンドツーエンドでの共同最適化が、分離学習やヒューリスティックな特徴選択手法に比べて、どの程度優れた性能を発揮するか。
• RQ4 欠損データ率や不規則なサンプリングの度合いが増加する条件下で、本手法の性能はどのように変化するか。
• RQ5 リアルタイム異常検出に適したオンライン学習設定に、モデルが効果的に適応可能か。

主な発見

• 時間に依存するゲートを備えたM-LSTMモデルは、A-LSTMやD-LSTMの変種よりも顕著に優れた性能を示し、特に欠損データ率が上昇する際の長時間間隔のモデル化が優れている。
• 0.7のランダムドロップ率を示すアクティビティ認識データセットにおいて、M-LSTMは高い欠損データ率下でも明確な性能優位性を示し、その耐性を裏付けた。
• 再構成損失とSVDDマージン損失を組み合わせた複合損失関数によるLSTMとSVDDの共同最適化は、分離学習や固定特徴抽出を用いたモデルよりも優れた異常検出性能を達成した。
• オンライン学習アルゴリズムにより、逐次的なパラメータ更新が可能となり、ストリーミングデータに対するリアルタイムデプロイメントに適したシステムが実現された。
• 可変長シーケンスと高い欠損データ率下でも、M-LSTMは強固なAUCスコアを維持し、効果的な時間的特徴学習の能力を示した。
• ドロップ率が上昇するにつれて、M-LSTMとA-LSTMの性能差が拡大し、加法的時間インジェクションよりもモジュレーションベースの時間統合が優れていることが確認された。