[논문 리뷰] FENCE: Feasible Evasion Attacks on Neural Networks in Constrained Environments

Alesia Chernikova, Alina Oprea|arXiv (Cornell University)|2019. 09. 23.

Adversarial Robustness in Machine Learning인용 수 8

한 줄 요약

FENCE는 특성공간의 종속성을 고려하여 제약 조건이 있는 환경(예: 사이버 보안 응용 분야)에서 딥 네ural 네트워크에 대한 타당한 회피 공격을 생성하기 위한 새로운 반복적 기반 그래디언트 프레임워크이다. 최소한이고 현실적인 변형(예: 네트워크 연결 12개 추가)을 통해 악성 소프트웨어 및 봇넷 분류기들을 성공적으로 회피하며, 원본 데이터의 타당성을 유지한다.

ABSTRACT

As advances in Deep Neural Networks (DNNs) demonstrate unprecedented levels of performance in many critical applications, their vulnerability to attacks is still an open question. We consider evasion attacks at testing time against Deep Learning in constrained environments, in which dependencies between features need to be satisfied. These situations may arise naturally in tabular data or may be the result of feature engineering in specific application domains, such as threat detection in cyber security. We propose a general iterative gradient-based framework called FENCE for crafting evasion attacks that take into consideration the specifics of constrained domains and application requirements. We apply it against Feed-Forward Neural Networks trained for two cyber security applications: network traffic botnet classification and malicious domain classification, to generate feasible adversarial examples. We extensively evaluate the success rate and performance of our attacks, compare their improvement over several baselines, and analyze factors that impact the attack success rate, including the optimization objective and the data imbalance. We show that with minimal effort (e.g., generating 12 additional network connections), an attacker can change the model's prediction from the Malicious class to Benign and evade the classifier. We show that models trained on datasets with higher imbalance are more vulnerable to our FENCE attacks. Finally, we demonstrate the potential of performing adversarial training in constrained domains to increase the model resilience against these evasion attacks.

연구 동기 및 목표

• 특성 종속성이 유지되어야 하는 제약 조건이 있는 환경에서 딥 네ural 네트워크의 회피 공격에 대한 취약성을 해결하기 위해.
• 실제 응용 분야(예: 네트워크 트래픽 및 악성 소프트웨어 분류)에서 흔히 나타나는 선형 및 비선형 특성 제약 조건을 모두 지원하는 일반화 가능한 프레임워크를 개발하기 위해.
• FENCE의 효과성을 실질적인 사이버 보안 사용 사례(예: 봇넷 및 악성 도메인 탐지)에서 평가하기 위해.
• 데이터 불균형과 최적화 목표가 공격 성공률에 미치는 영향을 분석하기 위해.
• 제약 조건이 있는 도메인 특화 환경에서의 적대적 훈련이 방어 수단으로서의 잠재력을 탐색하기 위해.

제안 방법

• FENCE는 각 특성에 대한 공격자의 목표 함수의 그래디언트를 계산하는 반복 최적화 과정을 사용한다.
• 각 반복 단계에서 최대 그래디언트를 가진 특성에 종속된 특성의 가족을 식별하고, 타당성 제약 조건을 유지하기 위해 이를 동시에 수정한다.
• 원본 입력으로부터의 총 변형 거리에 상한선을 설정하여 최소한이고 현실적인 변경을 보장한다.
• 선형 및 비선형 제약 조건을 모두 지원하여 복잡한 특성 종속성이 존재하는 다양한 도메인에 적용 가능하다.
• 두 가지 최적화 목표(프로젝티드 그래디언트 디센트(PGD) 및 페널티 방법(Carlini-Wagner))를 통합하여 성능을 비교한다.
• 모든 중간 및 최종 적대적 예제가 도메인 특화 제약 조건으로 정의된 타당 영역 내에 유지되도록 보장한다.

실험 결과

연구 질문

• RQ1 네트워크 트래픽 또는 악성 소프트웨어 분류와 같이 특성 종속성이 유지되어야 하는 제약 조건이 있는 도메인에서 회피 공격을 효과적으로 수행할 수 있는가?
• RQ2 최적화 목표의 선택(PGD 대 비대칭 페널티 방법(Carlini-Wagner))이 제약 조건이 있는 환경에서 적대적 예제의 성공률과 타당성에 어떤 영향을 미치는가?
• RQ3 학습 데이터셋의 데이터 불균형이 FENCE 스타일의 회피 공격에 대한 DNN의 취약도에 어느 정도의 영향을 미치는가?
• RQ4 제약 조건이 있는 환경에서의 적대적 훈련이 FENCE 유형의 공격에 대한 모델의 강건성을 향상시킬 수 있는가?
• RQ5 최소한이고 현실적인 변형(예: 네트워크 연결 12개 추가)이 실질적인 사이버 보안 워크로드에서 분류기 예측에 어떤 영향을 미치는가?

주요 결과

• FENCE는 최소한이고 현실적인 변경을 통해 사이버 보안 응용 분야(예: 봇넷 및 악성 도메인 분류)에서 DNN을 성공적으로 회피하는 타당한 적대적 예제를 생성한다.
• Zeek 연결 로그에서 네트워크 연결 12개만 추가해도 악성 샘플의 예측을 '악성'에서 '양호'로 바꾸는 데 성공했다.
• 더 높은 클래스 불균형을 가진 데이터셋으로 훈련된 모델일수록 FENCE 공격에 더 취약한 것으로 나타나, 데이터 불균형이 모델의 취약도를 악화시킨다는 점을 시사한다.
• PGD 기반 최적화가 페널티 방법(Carlini-Wagner)에 비해 공격 성공률과 생성된 예제의 타당성 측면에서 뛰어난 성능을 보였다.
• 제약 조건이 있는 도메인에서의 적대적 훈련은 FENCE 스타일의 회피 공격에 대한 모델의 저항력을 높이는 데 잠재력이 있으며, 유망한 방어 수단으로 간주된다.
• 연속 영역에서의 표준 적대적 훈련 방법(PGD 등)은 제약 조건이 있는 환경에서는 부족하며, FENCE와 같은 도메인 인식 공격 및 방어 프레임워크가 필요하다.