[논문 리뷰] An empirical evaluation for the intrusion detection features based on machine learning and feature selection methods

Mouhammd Alkasassbeh|arXiv (Cornell University)|2017. 12. 27.

Network Security and Intrusion Detection참고 문헌 25인용 수 31

한 줄 요약

이 논문은 MIB 데이터셋을 사용하여 침입 탐지에 대한 기계학습 및 특성 선택 방법을 평가한다. BayesNet, MLP, SVM를 적용하고, Infogain, ReleifF, Genetic Search의 세 가지 특성 선택 기법을 사용한다. Genetic Search 기법을 BayesNet과 조합할 경우 99.9%의 정확도를 달성하여 탐지 성능 향상이著명하게 나타났다.

ABSTRACT

Despite the great developments in information technology, particularly the Internet, computer networks, global information exchange, and its positive impact in all areas of daily life, it has also contributed to the development of penetration and intrusion which forms a high risk to the security of information organizations, government agencies, and causes large economic losses. There are many techniques designed for protection such as firewall and intrusion detection systems (IDS). IDS is a set of software and/or hardware techniques used to detect hacker's activities in computer systems. Two types of anomalies are used in IDS to detect intrusive activities different from normal user behavior. Misuse relies on the knowledge base that contains all known attack techniques and intrusion is discovered through research in this knowledge base. Artificial intelligence techniques have been introduced to improve the performance of these systems. The importance of IDS is to identify unauthorized access attempting to compromise confidentiality, integrity or availability of the computer network. This paper investigates the Intrusion Detection (ID) problem using three machine learning algorithms namely, BayesNet algorithm, Multi-Layer Perceptron (MLP), and Support Vector Machine (SVM). The algorithms are applied on a real, Management Information Based (MIB) dataset that is collected from real life environment. To enhance the detection process accuracy, a set of feature selection approaches is used; Infogain (IG), ReleifF (RF), and Genetic Search (GS). Our experiments show that the three feature selection methods have enhanced the classification performance. GS with bayesNet, MLP and SVM give high accuracy rates, more specifically the BayesNet with the GS accuracy rate is 99.9%.

연구 동기 및 목표

• 기계학습 및 특성 선택을 통해 침입 탐지 시스템의 정확도를 향상시키기.
• 다양한 특성 선택 방법이 IDS 성능에 미치는 영향을 평가하기.
• BayesNet, MLP, SVM가 네트워크 침입을 탐지하는 데 얼마나 효과적인지 평가하기.
• 고정확도 탐지에 최적의 알고리즘과 특성 선택 조합을 식별하기.
• 실제 관리 정보 기반(MIB) 데이터셋을 활용해 접근 방식을 검증하기.

제안 방법

• 세 가지 기계학습 알고리즘을 사용: BayesNet, 다층 퍼셉트론(MLP), 서포트 벡터 머신(SVM).
• 세 가지 특성 선택 기법을 적용: Infogain(IG), ReleifF(RF), Genetic Search(GS)를 통해 차원 축소 및 성능 향상.
• 실제 네트워크 환경에서 수집한 실세계 MIB 데이터셋을 학습 및 테스트에 사용.
• 모든 알고리즘-특성 선택 조합에 대해 정확도를 주요 지표로 사용해 분류 성능 평가.
• 침입 탐지에 기여하는 가장 관련성이 높은 특성들을 선별함으로써 모델 성능 최적화.
• 각 알고리즘이 각 특성 선택 방법과 조합되었을 때의 탐지 정확도를 비교.

실험 결과

연구 질문

• RQ1 BayesNet, MLP, SVM 중 어느 기계학습 알고리즘이 침입 탐지에 가장 높은 탐지 정확도를 달성하는가?
• RQ2 다양한 특성 선택 방법(IG, RF, GS)은 침입 탐지 시스템의 성능에 어떻게 영향을 미치는가?
• RQ3 탐지 정확도를 극대화하기 위해 최적의 기계학습 알고리즘과 특성 선택 기법 조합은 무엇인가?
• RQ4 특성 선택은 IDS 모델의 분류 성능 향상에 얼마나 기여하는가?
• RQ5 Genetic Search 기법이 다른 특성 선택 기법보다 탐지 정확도 측면에서 뛰어나다고 할 수 있는가?

주요 결과

• Genetic Search(GS)와 BayesNet의 조합이 가장 높은 탐지 정확도 99.9%를 기록했다.
• Infogain, ReleifF, Genetic Search의 세 가지 특성 선택 기법 모두 기계학습 모델의 분류 성능 향상에 기여했다.
• Genetic Search와 함께 사용된 BayesNet 알고리즘이 다른 알고리즘-특성 선택 조합보다 뛰어난 성능을 보였다.
• 특성 선택 기법의 사용이 탐지 정확도를 크게 향상시켜, IDS에서의 가치를 확인시켰다.
• 결과는 특성 선택이 침입 탐지 시스템의 효율성과 정확도 향상에 매우 중요하다는 것을 시사한다.
• MIB 데이터셋은 실세계 네트워크 행동을 반영한 기계학습 기반 침입 탐지 평가에 효과적임을 입증했다.