[논문 리뷰] Distillation as a Defense to Adversarial Perturbations against Deep Neural Networks

Nicolas Papernot, Patrick McDaniel외 3명|arXiv (Cornell University)|2015. 11. 13.

Adversarial Robustness in Machine Learning인용 수 8

한 줄 요약

이 논문은 딥 뉴럴 네트워크의 결정 경계를 부드럽게 함으로써 적대적 편향에 대한 강건성을 향상시키는 훈련 기법인 방어적 디스틸레이션(Defensive Distillation)을 제안한다. 소프트 레이블을 사용해 티처 네트워크에서 스타디언트 네트워크로 지식을 전달함으로써, 적대적 예제를 생성하는 데 사용되는 기울기의 크기를 줄여, MNIST에서는 공격 성공률를 95%에서 0.5% 이하로, CIFAR-10에서는 5% 이하로 낮추면서도 원래의 정확도를 유지한다.

ABSTRACT

Deep learning algorithms have been shown to perform extremely well on many classical machine learning problems. However, recent studies have shown that deep learning, like other machine learning techniques, is vulnerable to adversarial samples: inputs crafted to force a deep neural network (DNN) to provide adversary-selected outputs. Such attacks can seriously undermine the security of the system supported by the DNN, sometimes with devastating consequences. For example, autonomous vehicles can be crashed, illicit or illegal content can bypass content filters, or biometric authentication systems can be manipulated to allow improper access. In this work, we introduce a defensive mechanism called defensive distillation to reduce the effectiveness of adversarial samples on DNNs. We analytically investigate the generalizability and robustness properties granted by the use of defensive distillation when training DNNs. We also empirically study the effectiveness of our defense mechanisms on two DNNs placed in adversarial settings. The study shows that defensive distillation can reduce effectiveness of sample creation from 95% to less than 0.5% on a studied DNN. Such dramatic gains can be explained by the fact that distillation leads gradients used in adversarial sample creation to be reduced by a factor of 10^30. We also find that distillation increases the average minimum number of features that need to be modified to create adversarial samples by about 800% on one of the DNNs we tested.

연구 동기 및 목표

• 보안 중심 응용 분야에서 딥 뉴럴 네트워크를 오도할 수 있는 점점 증가하는 적대적 편향의 위협을 해결하기 위해.
• 네트워크 아키텍처를 변경하지 않으면서도 원래의 정확도를 훼손하지 않고 모델의 강건성을 향상시키는 방어 기법을 개발하기 위해.
• 지식 디스틸레이션이 적대적 예제에 대한 일반적인 방어 수단으로 재사용될 수 있는지 조사하기 위해.
• 디스틸레이션의 이론적 및 실증적 영향을 기울기 민감도와 적대적 강건성에 대해 분석하기 위해.

제안 방법

• 훈련 중에 사전 훈련된 티처 네트워크의 소프트 레이블(온도 조정 확률)을 사용하여 스타디언트 네트워크를 훈련시킴으로써 적응형 디스틸레이션을 적용한다.
• 디스틸레이션 과정은 입력 공간 내 기울기의 크기를 줄여, 작은 편향이 모델 예측을 변경하는 데 덜 효과적이게 한다.
• 온도 매개변수를 사용해 출력 확률을 부드럽게 하여 더 부드러운 결정 경계를 유도하고, 입력 편향에 대한 민감도를 감소시킨다.
• 스타디언트 네트워크는 티처의 소프트 레이블을 따라 훈련되어 더 강건하고 일반화된 모델이 된다.
• 방어는 훈련 후 적용되며 추론 또는 모델 아키텍처에 대한 변경이 필요하지 않다.
• 이 방법은 FGSM 및 기타 적대적 생성 기법을 사용해 적대적 공격 조건 하에서 표준 데이터셋(MNIST, CIFAR-10)에서 평가된다.

실험 결과

연구 질문

• RQ1 지식 디스틸레이션이 딥 뉴럴 네트워크에서 적대적 예제에 대한 방어 수단으로 재사용될 수 있는가?
• RQ2 방어적 디스틸레이션은 DNN의 기울기 크기와 입력 편향에 대한 민감도에 어떤 영향을 미치는가?
• RQ3 방어적 디스틸레이션은 FGSM과 같은 적대적 공격 알고리즘의 성공률를 어느 정도 감소시키는가?
• RQ4 방어적 디스틸레이션은 강건성을 향상시키면서도 원래 모델의 정확도를 유지하는가?
• RQ5 방어적 디스틸레이션은 다양한 DNN 아키텍처와 데이터셋에 일반적으로 적용될 수 있는가?

주요 결과

• 방어적 디스틸레이션은 MNIST 데이터셋에서 적대적 샘플 생성의 성공률를 95%에서 0.5% 이하로 감소시켰다.
• CIFAR-10 데이터셋에서는 공격 성공률가 5% 이하로 감소했으며, 원래 모델의 정확도를 유지했다.
• 이 방법은 적대적 공격에 사용되는 기울기 크기를 10^30 배 감소시켜 기울기 기반 공격 알고리즘의 효과를 크게 떨어뜨렸다.
• 한 테스트된 DNN에서, 적대적 샘플을 생성하기 위해 수정해야 할 평균 최소 특성 수가 약 800% 증가했다.
• 공격자가 모델이 방어적 디스틸레이션을 사용한다는 것을 알고 있더라도 이 방어는 효과적이며, 노출 가능한 패tern이나 사이드 채널을 만들지 않는다.
• 이 기법은 최소한의 훈련 오버헤드를 유발하며, 아키텍처 변경 없이 기존의 DNN에 적용할 수 있다.