[논문 리뷰] SIGMA : Strengthening IDS with GAN and Metaheuristics Attacks

Simon Msika, Alejandro Quintero외 1명|arXiv (Cornell University)|2019. 12. 18.

Advanced Malware Detection Techniques참고 문헌 24인용 수 4

한 줄 요약

SIGMA는 생성적 적대적 네트워크(GANs)와 하이브리드 메타휴리스틱 알고리즘(국소 탐색 및 유전 알고리즘)을 결합한 반복적 적대적 훈련 방법을 제안한다. 이는 기계학습 기반 침입 탐지 시스템(IDS)의 재훈련을 위해 현실적인 적대적 공격을 생성한다. 이 방법은 IDS의 강인성을 크게 향상시키며, 최소 두 번의 훈련 라운드 내로 생성된 공격에 대해 최대 100%의 탐지율을 달성한다. 특히 GAN과 메타휴리스틱으로 생성된 데이터를 조합할 경우 효과가 뚜렷하다.

ABSTRACT

An Intrusion Detection System (IDS) is a key cybersecurity tool for network administrators as it identifies malicious traffic and cyberattacks. With the recent successes of machine learning techniques such as deep learning, more and more IDS are now using machine learning algorithms to detect attacks faster. However, these systems lack robustness when facing previously unseen types of attacks. With the increasing number of new attacks, especially against Internet of Things devices, having a robust IDS able to spot unusual and new attacks becomes necessary. This work explores the possibility of leveraging generative adversarial models to improve the robustness of machine learning based IDS. More specifically, we propose a new method named SIGMA, that leverages adversarial examples to strengthen IDS against new types of attacks. Using Generative Adversarial Networks (GAN) and metaheuristics, SIGMA %Our method consists in generates adversarial examples, iteratively, and uses it to retrain a machine learning-based IDS, until a convergence of the detection rate (i.e. until the detection system is not improving anymore). A round of improvement consists of a generative phase, in which we use GANs and metaheuristics to generate instances ; an evaluation phase in which we calculate the detection rate of those newly generated attacks ; and a training phase, in which we train the IDS with those attacks. We have evaluated the SIGMA method for four standard machine learning classification algorithms acting as IDS, with a combination of GAN and a hybrid local-search and genetic algorithm, to generate new datasets of attacks. Our results show that SIGMA can successfully generate adversarial attacks against different machine learning based IDS. Also, using SIGMA, we can improve the performance of an IDS to up to 100\% after as little as two rounds of improvement.

연구 동기 및 목표

• 증가하는 사이버 위협 상황 속에서 IoT 환경에서의 기계학습 기반 IDS의 기존에 보지 못한 적대적 공격에 대한 취약성을 해결한다.
• 사전에 적대적으로 생성된 공격으로 훈련하여 딥러닝 모델의 취약성을 극복한다.
• 반복적 적대적 훈련을 통해 새로운, 보지 못한 공격 패턴에 대한 IDS의 강인성과 일반화 능력을 향상시킨다.
• GAN으로 생성된 공격와 메타휴리스틱 최적화 공격를 조합할 경우, 각각의 방법을 별도로 사용할 때보다 IDS의 내구성을 더 효과적으로 향상시키는지 조사한다.

제안 방법

• 기본 네트워크 트래픽을 모방하지만 악성인 현실적인 적대적 예제를 생성하기 위해 생성적 적대적 네트워크(GAN)를 사용한다.
• 더 높은 회피 가능성을 확보하기 위해 생성된 적대적 예제를 향상시키고 최적화하기 위해 하이브리드 메타휴리스틱 알고리즘(국소 탐색 및 유전자 알고리즘)을 활용한다.
• 세 단계 과정을 반복적으로 적용한다: (1) GAN과 메타휴리스틱을 사용해 새로운 적대적 공격 인스턴스를 생성하고, (2) 현재 IDS의 새로운 공격에 대한 탐지율을 평가하며, (3) 새로 생성된 공격 데이터로 IDS를 재훈련한다.
• 세 번 연속으로 향상이 없을 경우에 해당하는 수렴 기준에 도달할 때까지 루프를 반복한다. 이는 IDS가 공격 패턴에 안정적으로 적응하고 일반화했다는 것을 의미한다.
• 네 가지 다른 IDS 분류기(신경망, 랜덤 포레스트, SVM, 나이브 베이즈)를 복합 적대적 데이터셋으로 훈련하여 일반화 능력을 평가한다.
• 다음 세 가지 조건으로 훈련된 IDS의 성능을 비교한다: (a) 오직 GAN으로 생성된 데이터만, (b) 오직 메타휴리스틱으로 생성된 데이터만, (c) 둘의 조합을 사용한 경우로, 각 구성 요소의 기여도를 분리한다.

실험 결과

연구 질문

• RQ1 GAN으로 생성된 적대적 예제는 기계학습 기반 IDS에 의해 효과적으로 회피될 수 있는가? 어느 정도까지 회피 가능한가?
• RQ2 GAN으로 생성된 공격와 메타휴리스틱 최적화 공격를 조합할 경우, 각각을 별도로 사용할 때보다 IDS의 강인성을 더 크게 향상시키는가?
• RQ3 SIGMA 방법은 다양한 IDS 아키텍처에서 얼마나 빨리 높은 탐지율(예: 100%)에 도달하는가?
• RQ4 메타휴리스틱 최적화 공격를 포함할 경우, GAN 전용 훈련에 비해 IDS의 새로운, 보지 못한 적대적 패턴에 대한 일반화 능력이 어느 정도 향상되는가?
• RQ5 적대적 예제를 사용한 반복적 재훈련 과정이 이전에 보았던 특정 공격 패턴에 대한 과적합을 방지하는 데 효과적인가?

주요 결과

• SIGMA 방법은 기초 IDS 모델에서 탐지가 회피되는 적대적 공격를 성공적으로 생성했으며, 오직 실제 데이터로만 훈련된 경우 탐지율이 근처 0%까지 떨어졌다.
• 신경망 및 랜덤 포레스트 기반 IDS의 경우, SIGMA 방법을 사용해 최소 두 번의 재훈련 내로 생성된 공격에 대해 100%의 탐지율을 달성했으며, 오직 GAN으로 생성된 데이터로만 훈련된 모델보다 훨씬 빠른 속도로 성능을 향상시켰다.
• 메타휴리스틱으로 생성된 공격 전용으로 훈련된 모델는 GAN으로 생성된 공격를 탐지하지 못했으며, 이는 메타휴리스틱만으로는 강인성을 향상시키기에는 부족하다는 것을 시사한다.
• GAN과 메타휴리스틱으로 생성된 데이터의 조합은 각각의 방법을 별도로 사용할 때보다 더 빠른 수렴과 높은 탐지 성능을 이끌어내어 상호보완적 이점을 입증했다.
• SIGMA를 사용한 반복적 재훈련 과정은 특정 적대적 패턴에 대한 과적합을 방지했으며, 새로운, 보지 못한 공격 변종에 대한 일반화 능력을 향상시켰다.
• 이 방법은 네 가지 다른 IDS 분류기에서 일반화 능력을 입증했지만, 가장 뚜렷한 향상은 신경망 및 랜덤 포레스트 모델에서 관찰되었다.