[論文レビュー] One-class Collective Anomaly Detection based on Long Short-Term Memory Recurrent Neural Networks

Nga Nguyen Thi, Van Loi Cao+1 more|arXiv (Cornell University)|Jan 31, 2018

Network Security and Intrusion Detection参考文献 11被引用数 6

ひとこと要約

本論文では、正常な時系列ネットワークデータにのみトレーニングされた長短期間記憶（LSTM）再帰的ニューラルネットワークを用いた1クラス集合的異常検出モデルを提案する。複数の連続する時系列ステップにおける予測誤差を分析することで、これらの誤差がしきい値を超えた場合に集合的異常を検出する。この手法は、KDD 1999 時系列データセットにおいて効果的な検出を達成した。

ABSTRACT

Intrusion detection for computer network systems has been becoming one of the most critical tasks for network administrators today. It has an important role for organizations, governments and our society due to the valuable resources hosted on computer networks. Traditional misuse detection strategies are unable to detect new and unknown intrusion types. In contrast, anomaly detection in network security aims to distinguish between illegal or malicious events and normal behavior of network systems. Anomaly detection can be considered as a classification problem where it builds models of normal network behavior, of which it uses to detect new patterns that significantly deviate from the model. Most of the current approaches on anomaly detection is based on the learning of normal behavior and anomalous actions. They do not include memory that is they do not take into account previous events classify new ones. In this paper, we propose a one class collective anomaly detection model based on neural network learning. Normally a Long Short Term Memory Recurrent Neural Network (LSTM RNN) is trained only on normal data, and it is capable of predicting several time steps ahead of an input. In our approach, a LSTM RNN is trained on normal time series data before performing a prediction for each time step. Instead of considering each time-step separately, the observation of prediction errors from a certain number of time-steps is now proposed as a new idea for detecting collective anomalies. The prediction errors of a certain number of the latest time-steps above a threshold will indicate a collective anomaly. The model is evaluated on a time series version of the KDD 1999 dataset. The experiments demonstrate that the proposed model is capable to detect collective anomaly efficiently

研究の動機と目的

• ネットワークトラフィックにおける時間的依存性をモデル化できない従来の異常検出手法の限界を解決すること。
• ラベル付き異常データを必要としない1クラス学習アプローチを開発し、集合的異常を検出すること。
• LSTM RNNを用いて正常なネットワーク行動の順序的依存性をモデル化し、複雑で複数ステップにわたる異常の検出を向上させること。
• 異常を個別のイベントとしてではなく、複数の時系列ステップにわたる逸脱のパターンとして特定すること。

提案手法

• 長短期間記憶（LSTM）再帰的ニューラルネットワークを、正常なネットワーク時系列データにのみトレーニングして、時間的パターンを学習する。
• モデルは順序的な入力をもとに将来の時系列ステップを予測し、各時系列ステップごとに予測誤差を生成する。
• 最近の時系列ステップのスライディングウインドウからの予測誤差を蓄積して、集合的異常スコアを形成する。
• 複数のステップにわたる予測誤差の蓄積値が事前に定義されたしきい値を超えた場合、集合的異常とマークする。
• 本手法は、時間的に協調的に逸脱する異常を検出することに焦点を当てており、個別の外れ値とは異なる。
• モデルは、KDD 1999 インシデント検出データセットの時系列変換版を用いて評価された。

実験結果

リサーチクエスチョン

• RQ1 LSTMベースの1クラスモデルは、時間的依存性を活用することで、ネットワークトラフィックにおける集合的異常を効果的に検出できるか？
• RQ2 複数の時系列ステップにわたる予測誤差の蓄積は、単一ステップの異常検出と比較して、複雑で時間的に延長された異常の検出をどのように改善するか？
• RQ3 正常データのみでトレーニングされたモデルが、未観測の集合的攻撃パターンをどの程度検出できるか？
• RQ4 集合的異常の検出パフォーマンスを最適化するには、予測誤差にどのようなしきい値戦略を適用すべきか？

主な発見

• 提案手法は、複数の時系列ステップにわたる予測誤差の蓄積を分析することで、集合的異常を効果的に検出できた。
• 本手法は、複雑で時間的に延長された攻撃パターンを捉えることができることから、従来の1ステップ異常検出を上回る性能を示した。
• 本手法は、KDD 1999 データセットの時系列版においても効果的な検出を達成し、現実世界に近い条件下でも頑健であることが示された。
• 本手法は、ラベル付きの異常例がなくても有効であり、正常データのみに依存して動作した。