[論文レビュー] Statistical Analysis Driven Optimized Deep Learning System for Intrusion Detection

Cosimo Ieracitano, Ahsan Adeel+6 more|arXiv (Cornell University)|Aug 16, 2018

Network Security and Intrusion Detection参考文献 16被引用数 4

ひとこと要約

本論文は、NSL-KDDデータセットを用いたインシデント検出のための統計的分析駆動型最適化ディープラーニングシステムを提案する。ビッグデータ可視化と統計的特徴選択をディープオートエンコーダー（AE）と組み合わせることで、最適化された相関特徴抽出とAEアーキテクチャのグリーディプレトレーニングを実現し、87%の精度を達成。これは最先端モデルを上回る結果である。

ABSTRACT

Attackers have developed ever more sophisticated and intelligent ways to hack information and communication technology systems. The extent of damage an individual hacker can carry out upon infiltrating a system is well understood. A potentially catastrophic scenario can be envisaged where a nation-state intercepting encrypted financial data gets hacked. Thus, intelligent cybersecurity systems have become inevitably important for improved protection against malicious threats. However, as malware attacks continue to dramatically increase in volume and complexity, it has become ever more challenging for traditional analytic tools to detect and mitigate threat. Furthermore, a huge amount of data produced by large networks has made the recognition task even more complicated and challenging. In this work, we propose an innovative statistical analysis driven optimized deep learning system for intrusion detection. The proposed intrusion detection system (IDS) extracts optimized and more correlated features using big data visualization and statistical analysis methods (human-in-the-loop), followed by a deep autoencoder for potential threat detection. Specifically, a pre-processing module eliminates the outliers and converts categorical variables into one-hot-encoded vectors. The feature extraction module discard features with null values and selects the most significant features as input to the deep autoencoder model (trained in a greedy-wise manner). The NSL-KDD dataset from the Canadian Institute for Cybersecurity is used as a benchmark to evaluate the feasibility and effectiveness of the proposed architecture. Simulation results demonstrate the potential of our proposed system and its outperformance as compared to existing state-of-the-art methods and recently published novel approaches. Ongoing work includes further optimization and real-time evaluation of our proposed IDS.

研究の動機と目的

• 現代のネットワークにおけるサイバー脅威の複雑化と増大するトラフィック量に対処するため。
• 従来の機械学習手法が高次元かつ多様なネットワークデータを処理する際の限界を克服するため。
• 統計的特徴最適化とディープラーニングを統合することで、インシデント検出の精度を向上させるため。
• 多様な攻撃タイプ（例：DoS、R2L、Probe）を低誤検出率で検出できる、堅牢でスケーラブルなシステムを開発するため。
• NSL-KDDベンチマークデータセットにおいて、既存のディープラーニングおよびハイブリッドモデルを上回ること。

提案手法

• 前処理モジュールは外れ値を除去し、カテゴリカル変数をワンホットエンコーディングされたベクトルに変換する。
• 特徴抽出モジュールは、欠損値が80%を超える特徴を破棄し、統計的分析を用いて相関の高い特徴を選択する。
• 最適化された特徴集合の階層的表現を学習するために、グリーディで階層的にAEが訓練される。
• 分類性能を評価するため、深層AEは浅いマルチレイヤーパーセプトロン（MLP）分類器と比較される。
• 検出性能の評価には、NSL-KDDデータセット上で精度、再現率、F-measure、および正解率の指標が使用される。
• モデル最適化には、1層、2層、3層の隠れ層を備えたAEアーキテクチャをテストし、最適な深さを同定する。

実験結果

リサーチクエスチョン

• RQ1 統計的分析駆動型特徴選択は、インシデント検出におけるディープラーニングモデルの性能を向上させることができるか？
• RQ2 統計的に最適化された特徴上で訓練されたディープオートエンコーダーは、浅いMLPと比較して、ネットワークインシデントの分類性能においてどのように差を示すか？
• RQ3 NSL-KDDデータセットにおけるインシデント検出に最適なディープオートエンコーダーの深さは何か？
• RQ4 提案されたシステムは、NSL-KDDベンチマークで最近の最先端モデルを上回る精度を達成できるか？
• RQ5 手動による統計的特徴工学と自動化されたディープラーニングの統合は、モデルの汎化性能を向上させ、誤検出を低減できるか？

主な発見

• 提案されたディープオートエンコーダー分類器は87%の精度を達成し、比較されたすべての最先端モデルを上回った。浅いMLP（81.43%の精度）を大きく上回った。
• ディープAEはR2L攻撃クラスで98%の最高F-measureを記録し、MLPの11.74%を大幅に上回った。
• 50個の隠れニューロンを持つ1層のAE（$AE_{[50]}$）が最良の精度（87%）を達成し、より深いアーキテクチャ（$AE_{[50,25]}$: 82%、$AE_{[50,25,12]}$: 81%）を上回った。これは、より深いモデルでの過剰圧縮が原因と考えられる。
• ディープAEは全攻撃カテゴリで優れた性能を示し、F-measureは通常（90.27%）、DoS（97.61%）、Probe（80.14%）、R2L（56.83%）を記録した。
• このシステムは、統計的特徴最適化とディープラーニングの統合が、マルチクラスインシデント検出におけるモデル性能と頑健性を向上させることを示した。
• 結果から、統計的分析駆動型特徴選択が入力表現を改善し、ディープAEがネットワークトラフィックデータからより判別力のあるパターンを学習可能であることが確認された。