[論文レビュー] Fast Feature Reduction in intrusion detection datasets

Shafigh Parsazad, Ehsan Saboori+1 more|arXiv (Cornell University)|Apr 1, 2013

Network Security and Intrusion Detection被引用数 27

ひとこと要約

この論文は、侵入検知データセットにおける冗長な特徴を顕著な精度損失なしに削除する、高速で計算効率の良い特徴削減手法を提案する。単純で低コストなフィルタリング手法を活用することで、相関係数や最大情報圧縮インデックスといった類似度ベースの手法よりも計算効率に優れ、KNNおよびナイーブベイズ分類器においても競争力のある検知性能を維持する。

ABSTRACT

In the most intrusion detection systems (IDS), a system tries to learn characteristics of different type of attacks by analyzing packets that sent or received in network. These packets have a lot of features. But not all of them is required to be analyzed to detect that specific type of attack. Detection speed and computational cost is another vital matter here, because in these types of problems, datasets are very huge regularly. In this paper we tried to propose a very simple and fast feature selection method to eliminate features with no helpful information on them. Result faster learning in process of redundant feature omission. We compared our proposed method with three most successful similarity based feature selection algorithm including Correlation Coefficient, Least Square Regression Error and Maximal Information Compression Index. After that we used recommended features by each of these algorithms in two popular classifiers including: Bayes and KNN classifier to measure the quality of the recommendations. Experimental result shows that although the proposed method can't outperform evaluated algorithms with high differences in accuracy, but in computational cost it has huge superiority over them.

研究の動機と目的

• ネットワークトラフィックデータに含まれる大規模な特徴集合による侵入検知システムにおける高い計算コストと遅い学習速度の問題に対処する。
• 侵入検知データセット内の冗長で情報のない特徴を削減し、モデルの学習および検知を高速化する。
• 既存の類似度ベースの手法よりも計算コストが低いが、検知精度を維持する特徴選択手法を開発する。
• 効率性および分類性能の観点から、提案手法を確立された特徴選択アルゴリズムと比較する。

提案手法

• 低識別力の特徴を単純で計算コストが低い基準を用いてフィルタリングすることで、高速な特徴選択アルゴリズムを提案する。
• ヒューリスティックに基づくアプローチを用い、正常と悪意あるネットワークトラフィックを区別するのに寄与しない特徴を特定・削除する。
• 性能評価のため、広く使われている2つの分類器—ナイーブベイズおよびK-近傍法（KNN）—に選択された特徴を適用する。
• 相関係数、最小二乗回帰誤差、最大情報圧縮インデックスの3つの確立された類似度ベースの手法と、選択された特徴の有効性を比較する。
• 複雑な統計モデルや反復最適化に依存しないフィルタリング機構を採用することで、大規模データセットの迅速な処理を可能にする。
• 計算オーバーヘッドを最小限に抑えつつ、妥当な分類精度を維持するよう焦点を当てており、リアルタイム侵入検知に適している。

実験結果

リサーチクエスチョン

• RQ1 軽量で高速な特徴選択手法は、検知精度を著しく低下させることなく、侵入検知における計算コストを低減できるか？
• RQ2 提案手法は、確立された類似度ベースの特徴選択技術と比較して、計算効率においてどのように異なるか？
• RQ3 提案手法による特徴削減は、標準的な侵入検知データセットにおける分類性能をどの程度維持できるか？
• RQ4 提案手法は、実際の現場で一般的に使用される大規模かつ高次元の侵入検知データセットにも効果的にスケーリングできるか？
• RQ5 既存手法と比較して、提案手法の特徴削減技術を用いる際の、計算速度と精度のトレードオフはいかなるものか？

主な発見

• 提案された特徴削減手法は、相関係数、最小二乗回帰誤差、最大情報圧縮インデックスと比較して、顕著に低い計算コストを達成した。
• ベンチマーク手法の精度を上回ることはなかったが、ナイーブベイズおよびKNN分類器においても、競争力のある分類性能を維持した。
• 冗長な特徴の削除により、学習およびモデル訓練が高速化され、これはリアルタイム侵入検知システムにとって極めて重要である。
• 提案手法の計算上の利点は顕著であり、高速ネットワーク環境への展開に適している。
• 結果から、単純で高速なフィルタリング手法が、特に速度が優先される状況において、侵入検知における特徴削減に効果的であることが示された。
• 低計算フットプリントのおかげで、大規模データセットでも強力なスケーラビリティの可能性を示した。