[논문 리뷰] Attack and Defense of Dynamic Analysis-Based, Adversarial Neural Malware Classification Models

Jack W. Stokes, De Wang외 3명|arXiv (Cornell University)|2017. 12. 16.

Adversarial Robustness in Machine Learning참고 문헌 22인용 수 18

한 줄 요약

이 논문은 이진 및 희소 입력을 사용하는 동적 분석 기반 딥 뉴럴 네트워크(DNN) 악성코드 분류기 대상으로 악성코드 공격을 조사하며, 6가지의 공격 전략을 제안한다. 세 가지 방어 기법—정규화, 앙상블, 가중치 감소—를 평가한 결과, 앙상블 방어 기법이 정확도를 희생시키지 않고도 가장 뛰어난 강건성을 보였으며, 더 깊은 네트워크는 악성코드 공격에 대한 저항력을 향상시킨다.

ABSTRACT

Recently researchers have proposed using deep learning-based systems for malware detection. Unfortunately, all deep learning classification systems are vulnerable to adversarial attacks. Previous work has studied adversarial attacks against static analysis-based malware classifiers which only classify the content of the unknown file without execution. However, since the majority of malware is either packed or encrypted, malware classification based on static analysis often fails to detect these types of files. To overcome this limitation, anti-malware companies typically perform dynamic analysis by emulating each file in the anti-malware engine or performing in-depth scanning in a virtual machine. These strategies allow the analysis of the malware after unpacking or decryption. In this work, we study different strategies of crafting adversarial samples for dynamic analysis. These strategies operate on sparse, binary inputs in contrast to continuous inputs such as pixels in images. We then study the effects of two, previously proposed defensive mechanisms against crafted adversarial samples including the distillation and ensemble defenses. We also propose and evaluate the weight decay defense. Experiments show that with these three defensive strategies, the number of successfully crafted adversarial samples is reduced compared to a standard baseline system without any defenses. In particular, the ensemble defense is the most resilient to adversarial attacks. Importantly, none of the defenses significantly reduce the classification accuracy for detecting malware. Finally, we demonstrate that while adding additional hidden layers to neural models does not significantly improve the malware classification accuracy, it does significantly increase the classifier's robustness to adversarial attacks.

연구 동기 및 목표

• 동적 분석 기반 악성코드 분류기 중 이진 및 희소 입력을 처리하는 모델을 대상으로 하는 악성코드 공격 전략을 조사한다.
• 동적 분석 환경에서 악성코드 샘플에 대한 기존 방어 기법—정규화 및 앙상블—의 효과를 평가한다.
• 모델 강건성을 향상시키기 위한 새로운 가중치 감소 방어 기법을 제안하고 분석한다.
• 네트워크 깊이를 증가시키는 것이 정확도를 저하시키지 않고도 악성코드 공격에 대한 강건성을 향상시키는지 평가한다.
• 정규화, 앙상블, 가중치 감소와 같은 방어 기법이 악성코드 탐지 시스템의 분류 성능을 상당히 떨어뜨리는지 여부를 확인한다.

제안 방법

• 악성 기능을 선택적으로 제거하거나 양성 기능을 추가하여 입력 이진 표현을 교란시키는 방식으로 악성코드 샘플을 조작한다.
• 기울기 기반 최적화 기법을 적용하여 원래 악성코드 레이블을 유지하면서도 DNN에 의해 잘못 분류되는 악성코드 입력을 생성한다.
• 정규화 방어 기법을 구현하기 위해 교사 모델의 소프트 레이블을 모방하도록 학습하는 학생 모델을 훈련시켜 소규모 입력 변형에 대한 민감도를 감소시킨다.
• 앙상블 방어 기법을 적용하기 위해 다양한 DNN 모델을 훈련시킨 후 예측 결과를 통합하여 타겟 공격에 대한 취약성을 줄인다.
• 가중치 감소 방어 기법을 도입하기 위해 모델 훈련 중에 L2 정규화를 적용하여 모델 가중치를 제약하고 일반화 능력을 향상시킨다.
• 깊이가 증가하는 딥 뉴럴 네트워크를 훈련시어 아키텍처 깊이가 정확도와 악성코드 공격에 대한 강건성에 미치는 영향을 평가한다.

실험 결과

연구 질문

• RQ1 6가지의 다른 악성코드 공격 전략이 동적 분석 기반 DNN 분류기를 회피하는 교란된 악성코드 샘플을 얼마나 효과적으로 생성하는가?
• RQ2 정규화 및 앙상블 방어 기법이 동적 악성코드 분류기에서의 악성코드 공격 성공률을 어느 정도 감소시키는가?
• RQ3 제안된 가중치 감소 방어 기법이 악성코드 공격에 대해 상당한 강건성을 향상시키는가?
• RQ4 DNN의 은닉층 수를 늘릴 경우 정확도와 악성코드 공격에 대한 저항력에 어떤 영향을 미치는가?
• RQ5 정규화, 앙상블, 가중치 감소와 같은 방어 기법이 기본 악성코드 탐지 정확도를 상당히 떨어뜨리는가?

주요 결과

• 앙상블 방어 기법은 정규화 및 가중치 감소보다 악성코드 공격에 대한 저항력에서 뚜렷이 뛰어나며, 다른 방어 기법보다 더 효과적으로 성공적으로 제작된 악성코드 샘플의 수를 줄였다.
• 정규화 방어 기법은 기능 제거 공격의 효과를 감소시켜 중간 수준의 강건성을 보였지만, 앙상블 방식보다는 떨어졌다.
• 가중치 감소 방어 기법은 악성코드 샘플에 대해 거의 보호 기능을 제공하지 않아 기준 모델과 비교해 강건성 향상이 거의 없었다.
• DNN에 더 많은 은닉층을 추가하는 것은 악성코드 분류 정확도를 크게 향상시키지 않지만, 악성코드 공격에 대한 강건성을 상당히 향상시켰다.
• 세 방어 기법 중 어느 것도 악성코드 탐지 정확도를 상당히 떨어뜨리지 않아, 탐지 능력에 영향을 주지 않는다는 핵심 요구 조건을 충족시켰다.
• 결과적으로 깊은 신경망은 정확도 향상이 미미할지라도 얕은 모델보다 악성코드 공격에 대해 본질적으로 더 강건함을 확인했다.