[論文レビュー] Combinatorial Optimization based Feature Selection Method: A study on Network Intrusion Detection

Anjum Nazir, Rizwan Ahmed Khan|arXiv (Cornell University)|Jun 11, 2019

Network Security and Intrusion Detection参考文献 36被引用数 4

ひとこと要約

本論文では、UNSW-NB15データセットにおけるネットワークインシデント検出の精度を向上させるために、タブー探索（TS）メタヒューリスティクスとランダムフォレスト（RF）分類器を組み合わせた、新しいラッパー型特徴選択手法TS-RFを提案する。60%以上の特徴数削減により、計算複雑性を低減しながら検出精度を向上させ、未知の高度なサイバー攻撃を特定する強力な潜在能力を示している。

ABSTRACT

Advancements in computer networks and communication technologies like software defined networks (SDN), Internet of things (IoT), microservices architecture, cloud computing and network function virtualization (NFV) have opened new fronts and challenges for security experts to combat against modern cyberattacks. Relying on perimeter defense and signature-based network security solutions like Intrusion Detection and Prevention Systems (IDS/IPS) have failed to deliver adequate level of security against new attack vectors such as advance persistent threats, zero days, ransomware, botnets and other forms of targeted attacks. Recent developments in machine learning and cognitive computing have shown great potential to detect unknown and new intrusion events where legacy misuse and anomaly based intrusion detection systems usually fail. In this research study we applied state of the art machine learning algorithms on UNSW-NB15 dataset for potential applicability to detect new attacks. We also proposed a novel wrapper based feature selection technique TS-RF using metaheuristic Tabu Search (TS) algorithm and Random Forest (RF) ensemble classifier. Results obtained by applying proposed feature selection technique i.e. TS-RF on UNSW-NB15 dataset show improvement in overall intrusion detection accuracy while it reduces computation complexity as it removes more than 60% features.

研究の動機と目的

• ゼロデイ攻撃やAPTなどの高度な脅威を検出する際、従来のシグネチャベースおよび異常検知ベースのインシデント検知システムの限界を克服すること。
• UNSW-NB15データセットを用いた機械学習を活用し、未知のおよび出現中のサイバー脅威の検出精度を向上させること。
• 冗長で関係のない特徴を排除するインテelligェントな特徴選択アプローチにより、インシデント検知における計算複雑性を低減すること。
• メタヒューリスティクス最適化とアンサンブル学習を統合した、新しいラッパー型特徴選択手法の開発と評価を行うこと。

提案手法

• 提案手法TS-RFは、タブー探索（TS）メタヒューリスティクスアルゴリズムを用いて、特徴サブセット空間を探索し、最適な特徴の組み合わせを特定する。
• ランダムフォレスト（RF）分類器は、ラッパー枠組み内での評価関数として機能し、各特徴サブセットの性能を正確に推定する。
• 特徴選択はTSによって反復的に実行され、以前に探索済みの解を再訪問しないようにするタブーリストを維持し、局所最適解から脱出する。
• アルゴリズムはRF分類精度を用いて各候補特徴サブセットを評価し、高性能でコンactな特徴セットへと探索を誘導する。
• 最大反復回数や解の品質に改善が見られないなどの停止基準を満たすまでプロセスを継続する。
• 最終的に選択された特徴サブセットを用いてRFモデルを学習させ、より効率的で正確なインシデント検知システムを構築する。

実験結果

リサーチクエスチョン

• RQ1 ベースライン手法と比較して、ハイブリッドメタヒューリスティクス・ラッパー手法は、UNSW-NB15データセットにおけるインシデント検出精度を向上させることができるか？
• RQ2 特徴選択は、検出性能を劣化させることなく、計算複雑性をどの程度低減できるか？
• RQ3 タブー探索とランダムフォレストの統合は、インシデント検知のための最適な特徴サブセットを特定するのにどの程度効果的か？
• RQ4 提案されたTS-RF手法は、従来のIDS/IPSシステムと比較して、未確認またはゼロデイ攻撃パターンをより効果的に検出できるか？

主な発見

• TS-RF手法は、全特徴セットを用いたベースラインモデルと比較して、より高い全体的なインシデント検出精度を達成した。
• 提案手法は、検出性能を維持または向上させながら、特徴数を60%以上削減することに成功した。
• タブー探索の使用により、特徴空間の効果的な探索が可能になり、局所最適解を回避し、高品質なサブセットを同定できた。
• 評価関数としてランダムフォレストを統合することで、特徴選択の過程で堅牢で信頼性の高い性能推定が実現した。
• 未知の高度なサイバー攻撃、特にゼロデイ攻撃やAPT形式の脅威の検出において、強力な潜在能力を示した。
• 特徴次元の顕著な低減に伴い、インシデント検知システムの計算複雑性が顕著に低減した。