[論文レビュー] IGRF-RFE: A Hybrid Feature Selection Method for MLP-based Network Intrusion Detection on UNSW-NB15 Dataset

Yuhua Yin, Julian Jang‐Jaccard+5 more|arXiv (Cornell University)|Mar 30, 2022

Network Security and Intrusion Detection被引用数 14

ひとこと要約

本稿では、UNSW-NB15データセットにおけるMLPベースのネットワークインシデント検出のため、情報ゲイン（IG）とランダムフォレスト（RF）のフィルタ法を組み合わせ、再帰的特徴量削除（RFE）をワラッパーとして用いたハイブリッド特徴選択手法IGRF-RFEを提案する。この手法により42の特徴量が23に削減され、MLP分類精度は82.25%から84.24%に向上し、F1スコアも82.85%に向上した。

ABSTRACT

The effectiveness of machine learning models is significantly affected by the size of the dataset and the quality of features as redundant and irrelevant features can radically degrade the performance. This paper proposes IGRF-RFE: a hybrid feature selection method tasked for multi-class network anomalies using a Multilayer perceptron (MLP) network. IGRF-RFE can be considered as a feature reduction technique based on both the filter feature selection method and the wrapper feature selection method. In our proposed method, we use the filter feature selection method, which is the combination of Information Gain and Random Forest Importance, to reduce the feature subset search space. Then, we apply recursive feature elimination(RFE) as a wrapper feature selection method to further eliminate redundant features recursively on the reduced feature subsets. Our experimental results obtained based on the UNSW-NB15 dataset confirm that our proposed method can improve the accuracy of anomaly detection while reducing the feature dimension. The results show that the feature dimension is reduced from 42 to 23 while the multi-classification accuracy of MLP is improved from 82.25% to 84.24%.

研究の動機と目的

• 高次元ネットワークデータセットにおける冗長で関係のない特徴量の影響により生じるMLPベースのインシデント検出の性能低下を是正すること。
• 特徴選択を用いて、マルチクラスネットワーク異常検出における検出精度の向上と誤検出の低減を図ること。
• フィルタ法の高速性とワラッパー法の関連特徴量に特化した最適化を組み合わせたハイブリッド特徴選択アプローチの開発。
• 現実的なデータ分割条件下で、標準的なUNSW-NB15データセット上での提案手法の有効性を検証すること。

提案手法

• 最初の段階では、情報ゲイン（IG）とランダムフォレスト（RF）の両方を用いたハイブリッドフィルタ法を適用し、特徴量の重要度に基づいて初期特徴量集合をランク付け・削減する。
• IGとRFの両方で上位にランクされた特徴量の共通部分を用いて、IG単独で選ばれる高頻度・低影響特徴量の影響を最小限に抑えた洗練された特徴量サブセットを構成する。
• 2番目の段階では、MLP分類器をワラッパーとして用いた再帰的特徴量削除（RFE）を適用し、関連性が低い特徴量を段階的に削除し、最適なサブセットを同定する。
• 計算コストの低減を図るために、早期停止を許容するパラメータ（p）を導入し、性能に損なわれることなく実行時間を短縮する。
• カテゴリカル特徴量は保持され、選択された数値特徴量と統合され、最終的な特徴量サブセットが形成される。
• 最終的な特徴量サブセットを用いてMLPモデルを学習し、精度、F1スコア、適合率、再現率を含むマルチクラス分類指標に基づいて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッドフィルタ・ワラッパー特徴選択手法は、UNSW-NB15データセットにおけるMLPベースのネットワークインシデント検出の性能を向上させることができるか？
• RQ2 IGとRFのフィルタ法を併用することで、単独で使用する場合と比較して、特徴量の関連性がどのように向上するか？
• RQ3 初期のフィルタベースの削減後に、RFEベースのワラッパー選択が分類精度をどの程度向上させるか？
• RQ4 提案されたIGRF-RFE手法は、同一のデータセットとモデルを用いた、単独のIG、RF、または他の既存の特徴選択手法を上回る性能を示すか？
• RQ5 マルチクラスネットワーク異常検出において、高い性能を発揮するための最適な特徴量数は何か？

主な発見

• IGRF-RFEは特徴量を42から23に削減し、マルチクラス分類精度を82.25%から84.24%に顕著に向上させた。
• 本手法は重み付きF1スコア82.85%を達成し、単独のIG（81.49%）やRF（81.62%）の特徴選択手法を上回った。
• フィルタ段階におけるIGとRFの組み合わせにより、IG単独で選ばれがちな高頻度・低影響特徴量の過剰選択が効果的に抑制された。
• XGBoost、WFEU、DTベースの手法を用いた類似の研究と比較しても、IGRF-RFEは優れた性能を示した。
• 他のモデルがより高い精度（例：95.2%）を達成している場合でも、特徴量数やデータ分割法が著しく異なる場合でも、本手法は頑健で競争力のある性能を示した。
• IGRF-RFEの計算複雑度はO(n²)であり、標準的なRFEと同等であり、患者パラメータによる早期停止によりリソース効率が向上した。