[논문 리뷰] Adversary Resistant Deep Neural Networks with an Application to Malware Detection

Qinglong Wang, Wenbo Guo외 5명|arXiv (Cornell University)|2016. 10. 05.

Adversarial Robustness in Machine Learning참고 문헌 18인용 수 9

한 줄 요약

이 논문은 훈련 및 추론 중에 입력 특징을 확률적으로 무효화함으로써 적대적 예측에 대한 강건성을 향상시키는 Random Feature Nullification (RFN) 기법을 제안한다. RFN는 MNIST에서 최대 91.28%의 저항성을, CIFAR-10에서는 78.18%의 저항성을 달성하면서도 높은 분류 정확도를 유지하며, 강건성에 대한 경험적 및 이론적 보장을 제공한다.

ABSTRACT

Beyond its highly publicized victories in Go, there have been numerous successful applications of deep learning in information retrieval, computer vision and speech recognition. In cybersecurity, an increasing number of companies have become excited about the potential of deep learning, and have started to use it for various security incidents, the most popular being malware detection. These companies assert that deep learning (DL) could help turn the tide in the battle against malware infections. However, deep neural networks (DNNs) are vulnerable to adversarial samples, a flaw that plagues most if not all statistical learning models. Recent research has demonstrated that those with malicious intent can easily circumvent deep learning-powered malware detection by exploiting this flaw. In order to address this problem, previous work has developed various defense mechanisms that either augmenting training data or enhance model's complexity. However, after a thorough analysis of the fundamental flaw in DNNs, we discover that the effectiveness of current defenses is limited and, more importantly, cannot provide theoretical guarantees as to their robustness against adversarial sampled-based attacks. As such, we propose a new adversary resistant technique that obstructs attackers from constructing impactful adversarial samples by randomly nullifying features within samples. In this work, we evaluate our proposed technique against a real world dataset with 14,679 malware variants and 17,399 benign programs. We theoretically validate the robustness of our technique, and empirically show that our technique significantly boosts DNN robustness to adversarial samples while maintaining high accuracy in classification. To demonstrate the general applicability of our proposed method, we also conduct experiments using the MNIST and CIFAR-10 datasets, generally used in image recognition research.

연구 동기 및 목표

• 멀웨어 제작자가 탐지 회피를 위해 악용할 수 있는 딥 네URAL 네트워크(DNNs)의 적대적 샘플에 대한 임계적인 취약성을 해결하기 위해.
• 이론적 보장이 없고 경험적으로도 강건성이 제한된 기존 방어 기법의 한계를 극복하기 위해.
• 멀웨어 검출과 같은 보안이 중요한 응용 분야에서 적대적 조작에 대해 이론적·경험적으로 강건한 방어 메커니즘을 개발하기 위해.
• 멀웨어, MNIST, CIFAR-10을 포함한 다양한 데이터셋에 걸쳐 제안된 방법의 일반화 능력을 입증하기 위해.
• 비결정적 입력 처리 메커니즘을 통해 강력한 적대적 공격 저항성을 확보하면서도 높은 분류 정확도를 유지하기 위해.

제안 방법

• 훈련 및 추론 중에 입력 특징을 확률적으로 무효화함으로써 모델의 행동을 비결정적으로 만드는 Random Feature Nullification (RFN) 기법을 도입한다.
• 특정 확률(예: 50%)로 입력 특징의 일부를 무작위로 0으로 설정함으로써, 입력 수준의 정규화 역할을 한다.
• 기존 드롭아웃과 유사하지만, 드롭아웃이 은닉층 뉴런에 작용하는 데 반해, RFN는 직접적으로 입력 특징에 작용하여 적대적 특징 기반 설계를 방해한다.
• 훈련 및 테스트 단계 모두에 RFN를 적용하여, 공격자가 중요한 특징을 신뢰성 있게 역공학적으로 분석할 수 없도록 보장한다.
• 아키텍처에 종속되지 않으며, 완전히 연결된 네트워크와 컨볼루션 네럴 네트워크(CNNs)를 포함한 다양한 DNNs와 호환된다.
• 이론적 분석을 통해 특징 중요도에 대한 내재된 불확실성으로 인해 공격자가 효과적인 모델 특화 적대적 샘플을 구성하기 어려워진다.

실험 결과

연구 질문

• RQ1 딥 네럴 네트워크에서 적대적 공격에 대해 이론적 및 경험적 보장을 제공하는 방어 기법을 설계할 수 있는가?
• RQ2 Random Feature Nullification (RFN)이 기존 방어 기법에 비해 멀웨어 검출에서 적대적 샘플에 대한 강건성을 얼마나 효과적으로 향상시키는가?
• RQ3 RFN는 다양한 데이터셋에서 강력한 적대적 편향 저항성을 확보하면서도 높은 분류 정확도를 유지하는가?
• RQ4 RFN를 적대적 훈련과 조합했을 때의 성능은 어떠하며, 이 조합이 우수한 강건성을 제공하는가?
• RQ5 RFN는 멀웨어 바이너리와 MNIST, CIFAR-10과 같은 이미지 데이터셋과 같은 다양한 데이터 유형으로 일반화 가능한가?

주요 결과

• MNIST 데이터셋에서 RFN는 동일 조건 하에 표준 DNN(8.19%), 드롭아웃(19.51%), 적대적 훈련(67.68%)을 모두 상회하는 91.28%의 적대적 샘플 저항성을 확보했다.
• CIFAR-10에서 RFN는 적대적 훈련(33.97%)과 표준 모델(10.68%)을 뛰어넘는 78.18%의 저항성을 달성하여 복잡한 이미지 인식 작업에서 강력한 강건성을 입증했다.
• RFN와 적대적 훈련의 조합은 가장 높은 저항성을 기록했으며, MNIST에서는 91.28%, CIFAR-10에서는 74.12%를 기록하여 상호보완적 효과를 보였다.
• 50%의 특징 무효화 비율에서 RFN는 높은 분류 정확도를 유지했다—MNIST에서는 96.78%, CIFAR-10에서는 74.02%로 강력한 강건성에도 불구하고 정확도 저하가 최소화되었다.
• 실제 멀웨어 데이터셋(14,679개의 변종 및 17,399개의 정상 프로그램)에 대한 경험적 결과는 RFN가 DNN의 강건성을 크게 향상시키며 높은 정확도를 유지함을 확인했다.
• 이론적 분석을 통해 RFN가 공격자가 중요한 특징을 신뢰성 있게 식별하는 것을 방지하여, 모델의 비결정성으로 인해 적대적 샘플 생성이 비효율적이 되도록 했다.