[論文レビュー] An empirical evaluation for the intrusion detection features based on machine learning and feature selection methods

Mouhammd Alkasassbeh|arXiv (Cornell University)|Dec 27, 2017

Network Security and Intrusion Detection参考文献 25被引用数 31

ひとこと要約

本論文は、MIBデータセットを用いて侵入検出における機械学習および特徴選択手法の評価を実施し、BayesNet、MLP、SVMに加え、Infogain、ReleifF、Genetic Searchの3つの特徴選択手法を適用した。Genetic Search手法とBayesNetの組み合わせが99.9%の正確性を達成し、検出性能に顕著な向上を示した。

ABSTRACT

Despite the great developments in information technology, particularly the Internet, computer networks, global information exchange, and its positive impact in all areas of daily life, it has also contributed to the development of penetration and intrusion which forms a high risk to the security of information organizations, government agencies, and causes large economic losses. There are many techniques designed for protection such as firewall and intrusion detection systems (IDS). IDS is a set of software and/or hardware techniques used to detect hacker's activities in computer systems. Two types of anomalies are used in IDS to detect intrusive activities different from normal user behavior. Misuse relies on the knowledge base that contains all known attack techniques and intrusion is discovered through research in this knowledge base. Artificial intelligence techniques have been introduced to improve the performance of these systems. The importance of IDS is to identify unauthorized access attempting to compromise confidentiality, integrity or availability of the computer network. This paper investigates the Intrusion Detection (ID) problem using three machine learning algorithms namely, BayesNet algorithm, Multi-Layer Perceptron (MLP), and Support Vector Machine (SVM). The algorithms are applied on a real, Management Information Based (MIB) dataset that is collected from real life environment. To enhance the detection process accuracy, a set of feature selection approaches is used; Infogain (IG), ReleifF (RF), and Genetic Search (GS). Our experiments show that the three feature selection methods have enhanced the classification performance. GS with bayesNet, MLP and SVM give high accuracy rates, more specifically the BayesNet with the GS accuracy rate is 99.9%.

研究の動機と目的

• 機械学習および特徴選択を用いて侵入検出システムの正確性を向上させること。
• 異なる特徴選択手法がIDS性能に与える影響を評価すること。
• BayesNet、MLP、SVMの有効性をネットワーク侵入検出の観点から評価すること。
• 高精度な検出を実現するためのアルゴリズムと特徴選択の最適な組み合わせを特定すること。
• 実世界の管理情報ベース（MIB）データセットを用いて、手法の妥当性を検証すること。

提案手法

• BayesNet、マルチレイヤーパーセプトロン（MLP）、サポートベクターマシン（SVM）の3つの機械学習アルゴリズムを採用する。
• 次元削減と性能向上を目的として、Infogain（IG）、ReleifF（RF）、Genetic Search（GS）の3つの特徴選択手法を適用する。
• 実際のネットワーク環境から収集された実世界のMIBデータセットを、学習およびテストに使用する。
• すべてのアルゴリズム－特徴選択組み合わせにおいて、主に正確性を指標として分類性能を評価する。
• 侵入検出に寄与する最も関連性の高い特徴を選択することで、モデル性能を最適化する。
• 各アルゴリズムに各特徴選択手法を組み合わせた際の検出正確性を比較する。

実験結果

リサーチクエスチョン

• RQ1 侵入検出に適用された際、BayesNet、MLP、SVMのうちどの機械学習アルゴリズムが最も高い検出正確性を達成するか？
• RQ2 異なる特徴選択手法（IG、RF、GS）は、侵入検出システムの性能にどのように影響を与えるか？
• RQ3 検出正確性を最大化するための機械学習アルゴリズムと特徴選択技術の最適な組み合わせは何か？
• RQ4 特徴選択は、IDSモデルの分類性能をどの程度向上させるか？
• RQ5 Genetic Search手法は、他の特徴選択手法に比べて検出正確性の面で優れているか？

主な発見

• Genetic Search（GS）とBayesNetの組み合わせが、99.9%の最高検出正確性を達成した。
• Infogain、ReleifF、Genetic Searchの3つの特徴選択手法すべてが、機械学習モデルの分類性能を向上させた。
• Genetic Searchを用いたBayesNetアルゴリズムは、他のアルゴリズム－特徴選択の組み合わせに比べて優れた性能を示した。
• 特徴選択手法の使用により、検出正確性が顕著に向上し、IDSにおけるその価値が裏付けられた。
• 結果から、特徴選択は侵入検出システムの効率性と正確性を向上させる上で極めて重要であることが示された。
• MIBデータセットは、実世界のネットワーク行動を反映した機械学習ベースの侵入検出の評価に有効であることが判明した。