[논문 리뷰] Combinatorial Optimization based Feature Selection Method: A study on Network Intrusion Detection

Anjum Nazir, Rizwan Ahmed Khan|arXiv (Cornell University)|2019. 06. 11.

Network Security and Intrusion Detection참고 문헌 36인용 수 4

한 줄 요약

이 논문은 UNSW-NB15 데이터셋에서 네트워크 침입 탐지 성능을 향상시키기 위해 탭우 서치(Tabu Search, TS) 메타휴리스틱과 랜덤 포레스트(Random Forest, RF) 분류기를 조합한 새로운 워퍼 기반 특성 선택 방법인 TS-RF를 제안한다. 60% 이상의 특성 수를 감소시킴으로써 탐지 정확도를 향상시키고 계산 복잡도를 낮추며, 알려지지 않은 고도의 사이버 공격을 탐지하는 데 강력한 잠재력을 보여준다.

ABSTRACT

Advancements in computer networks and communication technologies like software defined networks (SDN), Internet of things (IoT), microservices architecture, cloud computing and network function virtualization (NFV) have opened new fronts and challenges for security experts to combat against modern cyberattacks. Relying on perimeter defense and signature-based network security solutions like Intrusion Detection and Prevention Systems (IDS/IPS) have failed to deliver adequate level of security against new attack vectors such as advance persistent threats, zero days, ransomware, botnets and other forms of targeted attacks. Recent developments in machine learning and cognitive computing have shown great potential to detect unknown and new intrusion events where legacy misuse and anomaly based intrusion detection systems usually fail. In this research study we applied state of the art machine learning algorithms on UNSW-NB15 dataset for potential applicability to detect new attacks. We also proposed a novel wrapper based feature selection technique TS-RF using metaheuristic Tabu Search (TS) algorithm and Random Forest (RF) ensemble classifier. Results obtained by applying proposed feature selection technique i.e. TS-RF on UNSW-NB15 dataset show improvement in overall intrusion detection accuracy while it reduces computation complexity as it removes more than 60% features.

연구 동기 및 목표

• 기존의 서명 기반 및 이상 탐지 기반 침입 탐지 시스템이 제로데이 공격 및 APT와 같은 고도의 위협을 탐지하는 데에 한계를 보이는 문제를 해결하기 위해.
• UNSW-NB15 데이터셋에서 기계 학습을 활용해 알려지지 않은 및 새로운 사이버 위협에 대한 탐지 정확도를 향상시키기 위해.
• 지능적인 특성 선택 기법을 통해 부용하고 관련성이 없는 특성을 제거하여 침입 탐지의 계산 복잡도를 낮추기 위해.
• 메타휴리스틱 최적화와 앙상블 학습을 통합한 새로운 워퍼 기반 특성 선택 기법을 개발하고 평가하기 위해.

제안 방법

• 제안된 방법인 TS-RF는 특성 부분집합 공간을 탐색하고 최적의 특성 조합을 식별하기 위해 탭우 서치(Tabu Search, TS) 메타휴리스틱 알고리즘을 사용한다.
• 랜덤 포레스트(Random Forest, RF) 분류기는 워퍼 프레임워크 내 평가 함수로 기능하여 각 특성 부분집합에 대한 정확한 성능 추정치를 제공한다.
• 특성 선택은 TS에 의해 반복적으로 수행되며, 이는 이전에 탐색한 해를 다시 방문하는 것을 방지하고 국소 최적해에서 벗어나기 위해 탭우 목록을 유지한다.
• 알고리즘은 각 후보 특성 부분집합을 RF 분류 정확도를 사용하여 평가하여 성능이 우수하고 컴act한 특성 집합으로 향한 탐색을 이끈다.
• 최대 반복 횟수 또는 해의 품질 향상 없이 정지 기준이 충족될 때까지 과정이 계속된다.
• 최종적으로 선택된 특성 부분집합은 RF 모델을 훈련하는 데 사용되어 더 효율적이고 정확한 침입 탐지 시스템을 만든다.

실험 결과

연구 질문

• RQ1 기본 모델 대비 UNSW-NB15 데이터셋에서 하이브리드 메타휴리스틱-워퍼 접근법이 침입 탐지 정확도를 향상시킬 수 있는가?
• RQ2 특성 선택은 탐지 성능을 저하시키지 않으면서 계산 복잡도를 얼마나 줄일 수 있는가?
• RQ3 탭우 서치와 랜덤 포레스트의 통합은 침입 탐지에 최적의 특성 부분집합을 식별하는 데 얼마나 효과적인가?
• RQ4 제안된 TS-RF 방법은 기존의 IDS/IPS 시스템보다 알려지지 않은 또는 제로데이 공격 패tern을 더 효과적으로 탐지할 수 있는가?

주요 결과

• TS-RF 방법은 전체 특성 집합을 사용한 기준 모델 대비 향상된 종합적인 침입 탐지 정확도를 달성했다.
• 제안된 기법은 특성 수를 60% 이상 감소시키면서도 탐지 성능을 유지하거나 향상시켰다.
• 탭우 서치의 사용은 특성 공간의 효과적인 탐색을 가능하게 하여 국소 최적해를 피하고 고품질의 부분집합을 식별하는 데 기여했다.
• 평가 함수로 랜덤 포레스트를 사용함으로써 특성 선택 과정에서 견고하고 신뢰할 수 있는 성능 추정이 이루어졌다.
• 이 방법은 제로데이 및 APT 스타일 위협을 포함한 알려지지 않은 고도의 사이버 공격을 탐지하는 데 강력한 잠재력을 보였다.
• 특성 차원의 현저한 감소로 인해 침입 탐지 시스템의 계산 복잡도가 크게 감소했다.