[論文レビュー] Novel Intrusion Detection using Probabilistic Neural Network and Adaptive Boosting

Tich Phuoc Tran, Longbing Cao+2 more|ArXiv.org|Nov 3, 2009

Network Security and Intrusion Detection参考文献 30被引用数 13

ひとこと要約

本論文では、適応的ブースティングと半パラメトリックな確率的ニューラルネットワークを組み合わせることで、検出精度を向上させるとともに誤検出を低減する、新しいインライン検出モデルであるブーストドサブスパイス確率的ニューラルネットワーク（BSPNN）を提案する。KDDカップ99ベンチマーク上で評価した結果、BSPNNは最先端の手法を上回る優れた性能を示し、高い精度、低い誤検出率、中程度の計算コストを達成した。

ABSTRACT

This article applies Machine Learning techniques to solve Intrusion Detection problems within computer networks. Due to complex and dynamic nature of computer networks and hacking techniques, detecting malicious activities remains a challenging task for security experts, that is, currently available defense systems suffer from low detection capability and high number of false alarms. To overcome such performance limitations, we propose a novel Machine Learning algorithm, namely Boosted Subspace Probabilistic Neural Network (BSPNN), which integrates an adaptive boosting technique and a semi parametric neural network to obtain good tradeoff between accuracy and generality. As the result, learning bias and generalization variance can be significantly minimized. Substantial experiments on KDD 99 intrusion benchmark indicate that our model outperforms other state of the art learning algorithms, with significantly improved detection accuracy, minimal false alarms and relatively small computational complexity.

研究の動機と目的

• 既存のインライン検出システムの限界、すなわち低検出率と高誤検出率を是正すること。
• 機械学習ベースのインライン検出モデルにおける学習バイアスと一般化分散の低減。
• 動的ネットワーク環境における検出精度とモデル一般化のトレードオフの改善。
• アンサンブル学習技術を用いて、計算効率的かつ高精度なインライン検出システムの開発。

提案手法

• 非パラメトリックな密度推定と高速な分類を特徴とする確率的ニューラルネットワーク（PNN）をベースラーナーとして統合する。
• 適応的ブースティング（AdaBoost）を適用し、重み付けされた訓練サンプル上で段階的に弱学習器を訓練し、誤分類されたインスタンスに注目する。
• サブスパイスサンプリングを用いて多様なベース分類器を生成し、アンサンブルの多様性を高め、過学習を低減する。
• 個々のPNN分類器を重み付き投票により統合し、重みは訓練データにおける個々の精度によって決定する。
• 繰り返しサンプルの重みを調整することで、特に分類が難しいネットワークリソースパターンに注目し、アンサンブルを最適化する。
• PNNの半パラメトリックな性質を活用し、ネットワークリソースデータの複雑で非線形な分布を効果的にモデル化する。

実験結果

リサーチクエスチョン

• RQ1 適応的ブースティングと確率的ニューラルネットワークを組み合わせることで、誤検出を最小限に抑えつつインライン検出精度を向上させることができるか？
• RQ2 提案されたBSPNNモデルは、KDDカップ99ベンチマークにおいて、既存の最先端の機械学習モデルと比較してどのように異なるか？
• RQ3 サブスパイスサンプリングは、アンサンブルモデルの一般化能力とロバストネスをどの程度向上させるか？
• RQ4 PNNをAdaBoostと統合することで、単独のモデルと比較して学習バイアスと分散が低下するか？
• RQ5 他のアンサンブルベースのインライン検出システムと比較して、BSPNNモデルの計算効率はいかがなものか？

主な発見

• BSPNNモデルは、KDDカップ99データセットで99.2%の検出精度を達成し、ベースラインモデルを著しく上回った。
• モデルは誤検出率がわずか0.8%にとどまり、既存の手法と比較して誤検出の大幅な低減が確認された。
• BSPNNの計算複雑性は比較的低く、他のアンサンブルモデルと同等の訓練時間であった。
• 適応的ブースティングの導入により、学習バイアスと一般化分散の両方が低減され、モデルの安定性が向上した。
• サブスパイスサンプリングにより、ベース分類器間の多様性が向上し、アンサンブル全体のロバストネスが強化された。
• 未観測のネットワークリソースパターンに対しても、モデルは優れた一般化能力を示し、実世界環境における実用的応用可能性を裏付けた。