[論文レビュー] Deep Anomaly Detection in Packet Payload

Jiaxin Liu, Xucheng Song+5 more|arXiv (Cornell University)|Dec 5, 2019

Network Security and Intrusion Detection参考文献 30被引用数 5

ひとこと要約

この論文は、ブロックベースの特徴工学とハイブリッドBL-LSTM-CNNモデルを用いて、パケットペイロードの異常検出のためのディープラーニングベースのフレームワークを提案している。このアプローチは、CSIC 2010データセットで98.67%の検出率と0.17%の偽陽性率を達成し、5つの最先端手法を上回っている。

ABSTRACT

With the widespread adoption of cloud services, especially the extensive deployment of plenty of Web applications, it is important and challenging to detect anomalies from the packet payload. For example, the anomalies in the packet payload can be expressed as a number of specific strings which may cause attacks. Although some approaches have achieved remarkable progress, they are with limited applications since they are dependent on in-depth expert knowledge, e.g., signatures describing anomalies or communication protocol at the application level. Moreover, they might fail to detect the payload anomalies that have long-term dependency relationships. To overcome these limitations and adaptively detect anomalies from the packet payload, we propose a deep learning based framework which consists of two steps. First, a novel feature engineering method is proposed to obtain the block-based features via block sequence extraction and block embedding. The block-based features could encapsulate both the high-dimension information and the underlying sequential information which facilitate the anomaly detection. Second, a neural network is designed to learn the representation of packet payload based on Long Short-Term Memory (LSTM) and Convolutional Neural Networks (CNN). Furthermore, we cast the anomaly detection as a classification problem and stack a Multi-Layer Perception (MLP) on the above representation learning network to detect anomalies. Extensive experimental results on three public datasets indicate that our model could achieve a higher detection rate, while keeping a lower false positive rate compared with five state-of-the-art methods.

研究の動機と目的

• パケットペイロードにおける長期的依存関係の異常を検出できない、専門家知識に依存するルールベースやフローベースの異常検出手法の限界を解消すること。
• パケットペイロードから高次元かつ順序付きの情報を効果的に捉える特徴工学手法を開発すること。
• ペイロードデータにおける長期的および短期的依存関係を学習可能なディープラーニングモデルを設計すること。
• 実世界のネットワークトラフィック環境において、高い検出率を維持しながら偽陽性率を低減すること。
• 複数の公開データセット上でフレームワークを評価し、既存の最先端手法と比較して優れた性能を示すこと。

提案手法

• 生のパケットペイロードを構造的で高次元の特徴に変換するため、ブロックシーケンス抽出とブロック埋め込みを用いたブロックベースの特徴工学手法を提案。
• ブロックベース特徴における順序的および空間的パターンを学習するため、長短期記憶（LSTM）と畳み込みニューラルネットワーク（CNN）を組み合わせたハイブリッドニューラルネットワークアーキテクチャを採用。
• 表現学習ネットワークの上にスタックされたマルチレイヤーパーセプトロン（MLP）を用いて、ペイロードを正常または異常と分類。
• パケットペイロードから順序付きブロックを抽出するために、調整可能なブロック長とストライドを有するスライディングウィンドウ機構を適用。
• 次元削減を図りながら意味的に意味のある特徴を保持するため、ペイロードブロックの高頻度辞書を構築。
• 検出性能を最大化するために、ブロック長、ストライド、辞書サイズ、LSTM隠れ状態数などのハイパーパrameterを最適化。

実験結果

リサーチクエスチョン

• RQ1 専門家が定義したシグネチャーやプロトコルレベルの知識に依存せずに、ディープラーニングベースのフレームワークがパケットペイロードの異常を効果的に検出できるか。
• RQ2 提案されたブロックベース特徴工学手法が、生のパケットペイロードから高次元かつ順序付きの情報をどの程度効果的に保持できるか。
• RQ3 既存の手法が見逃す長期的依存関係を、BL-LSTM-CNNモデルがどの程度効果的に捉えることができるか。
• RQ4 ブロック長、ストライド、辞書サイズなどのハイパーパrameterが、提案フレームワークの検出性能にどのように影響するか。
• RQ5 提案されたフレームワークは、多様な公開ネットワークデータセットにおいても高い検出精度と低い偽陽性率を維持できるか。

主な発見

• 提案されたBL-LSTM-CNNモデルは、CSIC 2010データセットで98.67%の検出率と0.17%の偽陽性率を達成し、5つの最先端手法を上回った。
• CICIDS 2017データセットでは、99.78%の検出率と0.0165%の偽陽性率を達成し、データセット間での優れた一般化性能を示した。
• CSIC 2010データセットでは99.53%の精度と99.29%のF1スコアを達成し、高い正確性とバランスの取れた性能を示した。
• アブレーションスタディの結果、ブロックベース特徴工学を削除すると検出性能が3.1%（BL-CNN）および1.6%（BL-LSTM）低下し、その有効性が裏付けられた。
• ハイパーパrameterチューニングの結果、50個のLSTM隠れ状態が最適な性能を示し、最適なブロック長とストライド値が検出精度を向上させた。
• フレームワークは短期的および長期的ペイロード異常の両方に対して頑健な性能を示し、特に散らばった低濃度の異常パターンの検出において優れた性能を発揮した。