[논문 리뷰] Detecting Adversarial Examples in Convolutional Neural Networks

Stefanos Pertigkiozoglou, Petros Maragos|arXiv (Cornell University)|2018. 12. 08.

Adversarial Robustness in Machine Learning참고 문헌 16인용 수 11

한 줄 요약

이 논문은 합성곱 신경망에서 적대적 예제를 탐지하기 위한 세 가지 새로운 방법을 제안한다: (1) 최종 레이어에 대한 정규화 기반 적대적 재학습, (2) 은닉 레이어 활성화값을 사용한 히스토그램 기반 SVM 분류, (3) 무시된 입력 특징을 탐지하기 위한 잔차 이미지 분석. 이 세 가지 방법의 조합은 BIM 공격에서 98.9%의 정밀도와 92.7%의 재현율을 기록하며, DeepFool 공격에 대해서는 AUC가 99.3%로 최신 기술 수준을 달성한다.

ABSTRACT

The great success of convolutional neural networks has caused a massive spread of the use of such models in a large variety of Computer Vision applications. However, these models are vulnerable to certain inputs, the adversarial examples, which although are not easily perceived by humans, they can lead a neural network to produce faulty results. This paper focuses on the detection of adversarial examples, which are created for convolutional neural networks that perform image classification. We propose three methods for detecting possible adversarial examples and after we analyze and compare their performance, we combine their best aspects to develop an even more robust approach. The first proposed method is based on the regularization of the feature vector that the neural network produces as output. The second method detects adversarial examples by using histograms, which are created from the outputs of the hidden layers of the neural network. These histograms create a feature vector which is used as the input of an SVM classifier, which classifies the original input either as an adversarial or as a real input. Finally, for the third method we introduce the concept of the residual image, which contains information about the parts of the input pattern that are ignored by the neural network. This method aims at the detection of possible adversarial examples, by using the residual image and reinforcing the parts of the input pattern that are ignored by the neural network. Each one of these methods has some novelties and by combining them we can further improve the detection results. For the proposed methods and their combination, we present the results of detecting adversarial examples on the MNIST dataset. The combination of the proposed methods offers some improvements over similar state of the art approaches.

연구 동기 및 목표

• 사람에게는 인식할 수 없지만 잘못 분류를 유도하는 적대적 예제에 대해 훈련된 CNN의 취약성을 해결하기 위해.
• 전체 네트워크를 재학습할 필요 없이 후행 검출(post-hoc detection)에 중점을 두어 탐지 방법을 개발하기 위해.
• 다양한 상보적인 탐지 메커니즘을 조합하여 탐지의 강건성을 향상시키기 위해.
• BIM 및 DeepFool과 같은 표준 적대적 공격을 사용하여 MNIST 데이터셋에서 제안된 방법을 평가하기 위해.
• 다양한 탐지 방법을 조합함으로써 개별 방법보다 정밀도와 재현율을 모두 향상시킬 수 있음을 입증하기 위해.

제안 방법

• 첫 번째 방법은 네트워크에서 출력되는 특징 벡터의 정규화를 통해 최종 레이어에서 적대적 편향에 대한 강건성을 향상시키는 적대적 재학습을 수행한다.
• 두 번째 방법은 은닉 레이어 출력값의 절대값에 대한 히스토그램을 특징 벡터로 구성하고, 이를 SVM을 사용하여 진짜 입력과 적대적 입력을 구분한다.
• 세 번째 방법은 입력과 그에 대응하는 네트워크 처리 결과 간의 차이로 정의되는 잔차 이미지를 도입하여 분류기가 무시하는 특징을 식별한다.
• 잔차 이미지는 잘못 분류되는 적대적 예제를 탐지할 수 있도록, 올바른 분류를 강화하는 방식으로 입력을 변형하는 데 사용된다.
• 세 가지 방법은 논리 연산(AND, OR, 다数결정)을 통해 정밀도와 재현율을 균형 있게 조절하며, 히스토그램 탐지와 적어도 한 가지 다른 방법을 조합한 하이브리드 전략을 사용한다.
• 잔차 이미지 방법에는 임계값 기반 결정 규칙를 적용하고, 다양한 공격 유형에서 임계값을 변화시켜 ROC 곡선과 정밀도-재현율 곡선을 생성한다.

실험 결과

연구 질문

• RQ1 최종 레이어의 특징 벡터에 대한 정규화가 전체 네트워크를 재학습하지 않고도 적대적 예제 탐지 성능을 향상시킬 수 있는가?
• RQ2 은닉 레이어 활성화값의 히스토그램 기반 표현이 SVM 분류기를 사용하여 적대적 입력과 진짜 입력을 효과적으로 구분할 수 있는가?
• RQ3 네트워크가 무시하는 특징을 포착하는 잔차 이미지가 적대적 예제 탐지에 신뢰할 수 있는 신호로 기능할 수 있는가?
• RQ4 여러 탐지 방법을 조합함으로써 정밀도와 재현율 측면에서 전체 탐지 성능이 어떻게 향상되는가?
• RQ5 히스토그램 탐지와 적어도 한 가지 다른 방법을 조합한 하이브리드 탐지 전략이 정밀도를 희생시키지 않고도 높은 성능을 달성할 수 있는가?

주요 결과

• 논리 AND 조합(T₁)을 사용할 경우 BIM 공격에서 99.5%의 정밀도와 60.1%의 재현율을 기록하여 탐지에 대한 높은 신뢰도를 보이지만 커버리지가 제한적이다.
• 논리 OR 조합(T₂)을 사용할 경우 BIM 공격에서 83.6%의 정밀도와 99.4%의 재현율을 기록하여 높은 감도를 보이나 많은 오진이 발생한다.
• 다수결정 조합(T₃)은 BIM 공격에서 95.5%의 정밀도와 91.8%의 재현율, DeepFool 공격에서 96.2%의 정밀도와 96.25%의 재현율을 기록하여 두 지표를 효과적으로 균형 잡는다.
• 하이브리드 전략 T₄ = H ∧ (R ∨ I)는 BIM 공격에서 98.8%의 정밀도와 89.6%의 재현율, DeepFool 공격에서 98.9%의 정밀도와 92.7%의 재현율을 기록하여 개별 방법과 많은 최신 기술 수준의 접근법을 초월한다.
• ROC AUC는 BIM 공격에서 98.7%, DeepFool 공격에서 99.3%로 나타나 다양한 임계값에서 강력한 전체 탐지 성능을 보여준다.
• 정밀도-재현율 곡선과 ROC 곡선은 잔차 이미지 방법의 임계값을 조절함으로써 탐지 성능이 강건하고 조절 가능하다는 것을 입증한다.