[論文レビュー] Collective Anomaly Detection based on Long Short Term Memory Recurrent Neural Network

Loïc Bontemps, Van Loi Cao+2 more|arXiv (Cornell University)|Mar 28, 2017

Network Security and Intrusion Detection参考文献 10被引用数 28

ひとこと要約

本論文は、KDD 1999データセット上で、正常なネットワークトラフィックにのみトレーニングされた長短期間記憶（LSTM）再帰的ニューラルネットワークを用いたリアルタイムの集合的異常検出モデルを提案する。複数の最近傍時刻における予測誤差を分析することにより、個々の時刻では明らかでない偏差である集合的異常を検出する。この手法により、協調的攻撃に対する感度が向上し、KDD 1999データセット上でも信頼性の高い検出が達成された。

ABSTRACT

Intrusion detection for computer network systems becomes one of the most critical tasks for network administrators today. It has an important role for organizations, governments and our society due to its valuable resources on computer networks. Traditional misuse detection strategies are unable to detect new and unknown intrusion. Besides, anomaly detection in network security is aim to distinguish between illegal or malicious events and normal behavior of network systems. Anomaly detection can be considered as a classification problem where it builds models of normal network behavior, which it uses to detect new patterns that significantly deviate from the model. Most of the cur- rent research on anomaly detection is based on the learning of normally and anomaly behaviors. They do not take into account the previous, re- cent events to detect the new incoming one. In this paper, we propose a real time collective anomaly detection model based on neural network learning and feature operating. Normally a Long Short Term Memory Recurrent Neural Network (LSTM RNN) is trained only on normal data and it is capable of predicting several time steps ahead of an input. In our approach, a LSTM RNN is trained with normal time series data before performing a live prediction for each time step. Instead of considering each time step separately, the observation of prediction errors from a certain number of time steps is now proposed as a new idea for detecting collective anomalies. The prediction errors from a number of the latest time steps above a threshold will indicate a collective anomaly. The model is built on a time series version of the KDD 1999 dataset. The experiments demonstrate that it is possible to offer reliable and efficient for collective anomaly detection.

研究の動機と目的

• 個々の時刻を独立に分析する従来の異常検出手法の限界を解消すること。
• 個々の異常ではなく、複数の時刻にわたる連携的な偏差（集合的異常）を検出すること。
• ネットワークトラフィックの時間的依存関係をモデル化することで、これまでにない洗練された攻撃の検出を向上させること。
• 正常データのみでトレーニングされたLSTM RNNを用いたリアルタイムでスケーラブルなソリューションの開発。
• 予測誤差の累積を集合的異常の検出信号として用いる有効性を実証すること。

提案手法

• KDD 1999データセットの正常な時系列ネットワークトラフィックデータにのみトレーニングされた長短期間記憶（LSTM）RNNを用いる。
• トレーニング済みのLSTMは、最近傍の入力シーケンスに基づいて将来の時刻を予測し、各時刻ごとに予測出力を生成する。
• 各時刻における実測値と予測値の差である予測誤差を計算する。
• 最近傍の予測誤差のスライディングウインドウを維持し、その累積大きさをモニタリングする。
• ウインドウ内の予測誤差の合計が事前に定義されたしきい値を超えると、集合的異常が検出される。
• この手法は時間的文脈とシーケンスモデリングを活用し、単一時刻分析では検出できない微細で連携的な偏差を検出する。

実験結果

リサーチクエスチョン

• RQ1 正常データのみでトレーニングされたLSTM RNNが、時間経過に伴う予測誤差パターンを分析することで、集合的異常を検出できるか？
• RQ2 複数の時刻にわたる予測誤差の集積は、単一時刻の異常検出と比較して、どのように協調的攻撃の検出を向上させるか？
• RQ3 実世界のネットワークトラフィックにおいて最適な検出性能を達成するには、予測誤差の累積にどのようなしきい値戦略が適しているか？
• RQ4 本モデルは、異常例の事前露出がなくても、未確認の攻撃パターンを検出できるか？
• RQ5 KDD 1999ベンチマークデータセット上で、リアルタイム検出シナリオにおける本モデルの性能はいかがなものか？

主な発見

• 本モデルは、複数の時刻にわたる予測誤差における持続的偏差を特定することで、集合的異常を効果的に検出できた。
• 最近傍の複数時刻にわたる予測誤差の集積は、個時刻ごとの異常検出と比較して、協調的攻撃の検出を顕著に向上させた。
• 本手法はKDD 1999データセット上で信頼性の高い検出性能を示し、多様な攻撃パターンに対しても頑健であることを実証した。
• 本アプローチはトレーニング時にラベル付きの異常データを一切必要とせず、正常データのみに依存するため、一般化性能が向上した。
• 本モデルはリアルタイム推論が可能であり、ライブネットワーク監視システムへの導入に適している。
• 結果から、LSTMの予測誤差分析を用いた集合的異常検出は、インシデント検出の分野において実用的で効果的な戦略であると示された。