[論文レビュー] Feedforward Neural Network for Time Series Anomaly Detection

Rong Zhang, Dong Shandong+2 more|arXiv (Cornell University)|Dec 20, 2018

Anomaly Detection Techniques and Applications参考文献 8被引用数 7

ひとこと要約

この論文では、正規化された原始的データからエンド・トゥ・エンドでパターンを学習することで、手動による特徴工学の必要を排除したフィードフォワードニューラルネットワークを、時系列異常検出に提案している。このモデルは、広範な特徴工学を施したXGBoostよりも高いオフラインの精度と再現率を達成しており、隠れ層の出力は意味のある時系列表現を提供する。

ABSTRACT

Time series anomaly detection is usually formulated as finding outlier data points relative to some usual data, which is also an important problem in industry and academia. To ensure systems working stably, internet companies, banks and other companies need to monitor time series, which is called KPI (Key Performance Indicators), such as CPU used, number of orders, number of online users and so on. However, millions of time series have several shapes (e.g. seasonal KPIs, KPIs of timed tasks and KPIs of CPU used), so that it is very difficult to use a simple statistical model to detect anomaly for all kinds of time series. Although some anomaly detectors have developed many years and some supervised models are also available in this field, we find many methods have their own disadvantages. In this paper, we present our system, which is based on deep feedforward neural network and detect anomaly points of time series. The main difference between our system and other systems based on supervised models is that we do not need feature engineering of time series to train deep feedforward neural network in our system, which is essentially an end-to-end system.

研究の動機と目的

• 手動による特徴工学への依存を低減する、堅牢でエンド・トゥ・エンドのディープラーニングモデルを、時系列異常検出のために開発すること。
• 大規模な産業監視環境における異常検出システムの精度と再現率を向上させること。
• ディープフィードフォワードネットワークが、事前の統計的・ドメイン固有の特徴抽出を経ずに、原始的データから複雑な時系列パターンを直接学習できることを示すこと。
• 訓練済みネットワークの隠れ層表現が、時系列のための効果的で意味のある特徴として機能できることを示すこと。

提案手法

• モデルは、正規化された原始的時系列データ上でエンド・トゥ・エンドに訓練されたディープフィードフォワードニューラルネットワークを用い、異常ラベルを予測する。
• 閾値ベースの特徴（例：x ≥ a）を学習可能な要素として表現するために、ReLUとシグモイド活性化関数を用いた、バイナリインジケータ関数の独自の微分可能近似を採用する。
• 複数の全結合層にバッチ正規化とReLU活性化関数を組み合わせたネットワークアーキテクチャを設計し、時系列パターンを符号化する。
• 「平均以上を数える」や「平均未満を数える」などの重要な特徴は、インジケータ関数の微分可能近似を用いて実装されており、これらの操作を逆伝播可能にする。
• 異常分布の長尾特性に対処するため、クラスバランスの取れたサンプリングを用いたバイナリクロスエントロピー損失でモデルを訓練する。
• 訓練後、隠れ層の活性化を抽出し、後続の分析やトランスファーラーニングに適したコンパクトで意味のある時系列表現とする。

実験結果

リサーチクエスチョン

• RQ1 手動による特徴工学に依存せずに、フィードフォワードニューラルネットワークが時系列異常を効果的に検出できるか？
• RQ2 エンド・トゥ・エンドのディープフィードフォワードネットワークの性能は、広範な特徴工学を施した従来のモデル（例：XGBoost）と比べてどうか？
• RQ3 訓練済みネットワークの隠れ層表現が、有用で意味のある特徴として時系列に適しているか？
• RQ4 離散的演算（例：閾値）の微分可能近似を、完全に訓練可能な異常検出モデルを構築するためにどの程度活用できるか？

主な発見

• 提案されたフィードフォワードニューラルネットワークは、広範な人為的特徴工学を施したXGBoostモデルよりも高いオフラインの精度と再現率を達成した。
• モデルは、明示的な特徴工学を一切行わず、正規化された原始的時系列データにのみ依存して異常を検出することに成功した。
• 訓練済みネットワークの隠れ層出力は、下位のパターンやトレンドを捉える有効で意味のある時系列表現であることが示された。
• ネットワークが閾値やカウントといった離散的演算を微分可能関数で近似できることで、エンド・トゥ・エンドの訓練が可能になり、モデルの一般化性能が向上した。
• このアプローチは、大容量の産業時系列データにおけるリアルタイム異常検出に、堅牢でスケーラブルなソリューションとして機能できることを示した。