[논문 리뷰] Deep PackGen: A Deep Reinforcement Learning Framework for Adversarial Network Packet Generation

Soumyadeep Hore, Jalal Ghadermazi외 4명|arXiv (Cornell University)|2023. 05. 18.

Adversarial Robustness in Machine Learning인용 수 10

한 줄 요약

Deep PackGen은 기능을 보존하면서 악성처럼 위장하는 적대적 순방향 네트워크 패킷을 생성하기 위해 심층 강화 학습을 사용하며, 대리 NIDS 분류기에 대해 평가될 때 주목할 만한 적대 성공을 보임.

ABSTRACT

Recent advancements in artificial intelligence (AI) and machine learning (ML) algorithms, coupled with the availability of faster computing infrastructure, have enhanced the security posture of cybersecurity operations centers (defenders) through the development of ML-aided network intrusion detection systems (NIDS). Concurrently, the abilities of adversaries to evade security have also increased with the support of AI/ML models. Therefore, defenders need to proactively prepare for evasion attacks that exploit the detection mechanisms of NIDS. Recent studies have found that the perturbation of flow-based and packet-based features can deceive ML models, but these approaches have limitations. Perturbations made to the flow-based features are difficult to reverse-engineer, while samples generated with perturbations to the packet-based features are not playable. Our methodological framework, Deep PackGen, employs deep reinforcement learning to generate adversarial packets and aims to overcome the limitations of approaches in the literature. By taking raw malicious network packets as inputs and systematically making perturbations on them, Deep PackGen camouflages them as benign packets while still maintaining their functionality. In our experiments, using publicly available data, Deep PackGen achieved an average adversarial success rate of 66.4\% against various ML models and across different attack types. Our investigation also revealed that more than 45\% of the successful adversarial samples were out-of-distribution packets that evaded the decision boundaries of the classifiers. The knowledge gained from our study on the adversary's ability to make specific evasive perturbations to different types of malicious packets can help defenders enhance the robustness of their NIDS against evolving adversarial attacks.

연구 동기 및 목표

• 패킷 기능성을 보존하면서 ML 기반 NIDS를 회피하는 적대적 네트워크 패킷을 생성하기 위한 DRL 기반 프레임워크를 개발한다.
• PCAP의 원시 전방 패킷을 사용하여 패킷 분류기를 훈련하고 적대적 테스트를 위한 앙상블 대리모델을 구축한다.
• 여러 분류기와 환경에서 적대적 교란의 강인성과 전달 가능성을 평가한다.
• 교란 전략과 부수 효과를 분석하여 발전하는 적대적 공격에 대한 방어자의 강인성을 제고한다.

제안 방법

• CICIDS-2017/2018의 원시 PCAP 데이터를 처리하여 단방향 전방 패킷 데이터셋을 생성한다.
• 헤더 정보를 제거하고 바이트를 정규화하여 패킷의 고정 길이 특징 벡터를 생성한다.
• 방어자 NIDS를 시뮬레이션하기 위해 앙상블 대리 분류기를 구축하고 최상위 성능 모델을 선택한다.
• 제약된 교란을 가진 순차적 의사결정 문제(MDP)로 적대적 패킷 생성을 형식화한다.
• 앙상블 전반에서 회피 보상을 최대화하는 교란 정책을 학습하기 위해 더블 Q-학습(DDQN) DRL를 적용한다.
• DRL로 생성된 적대적 패킷을 보지 않은 분류기에 대해 테스트하여 적대적 성공률(ASR)을 측정한다.

실험 결과

연구 질문

• RQ1 DRL 에이전트가 ML 기반 NIDS가 악성 트래픽을 정상으로 잘못 분류하도록 근사 최적의 교란을 학습할 수 있는가?
• RQ2 교란이 패킷 기능성을 보존하고 실제 네트워크 환경에서 달성 가능한가?
• RQ3 학습된 교란 정책은 서로 다른 데이터셋과 분류기 간에 얼마나 전이 가능한가?
• RQ4 성공적인 적대적 샘플 중 얼마나 많은 비율이 분포 외(OOD)이며 복잡한 분류기의 결정 경계를 피하는가?

주요 결과

• DRL 기반 Deep PackGen은 다양한 ML 모델 및 공격 유형에 대해 평균 적대적 성공률 66.4%를 달성했다.
• 성공적인 적대적 샘플의 45% 이상이 분포 외 패킷으로 분류기 경계를 피했다.
• 교란은 전방 패킷과 기능 유지를 위한 유효한 변경에 한정되며, 부수 효과(예: 체크섬)도 고려된다.
• 이 프레임워크는 학습된 교란의 서로 다른 네트워크 환경으로의 전달 가능성을 보여준다.
• 제안된 제약하에서 어떤 공격 유형이 적대자에 의해 더 조작 가능했는지에 대한 통찰을 제공한다.