[논문 리뷰] On the Effectiveness of Defensive Distillation

Nicolas Papernot, Patrick McDaniel|arXiv (Cornell University)|2016. 07. 18.

Adversarial Robustness in Machine Learning참고 문헌 7인용 수 58

한 줄 요약

이 논문은 적대적 예제에 대한 방어적 디스틸레이션의 효과를 평가하며, 제이코비안 기반 반복 공격뿐만 아니라 빠른 기울기 부호 방법(FGSM)에 대해서도 그 효과를 입증한다. 고온도 T로 신경망을 디스틸하고 소프트 레이블을 재학습함으로써, T=100일 때 FGSM 공격 성공률을 1.5% 이하로 낮추어 다양한 공격 유형에 대해 강건함을 보였다.

ABSTRACT

We report experimental results indicating that defensive distillation successfully mitigates adversarial samples crafted using the fast gradient sign method, in addition to those crafted using the Jacobian-based iterative attack on which the defense mechanism was originally evaluated.

연구 동기 및 목표

• 기존에 제이코비안 기반 반복 공격에 대해 평가된 방어적 디스틸레이션이, 빠른 기울기 부호 방법(FGSM)을 사용해 생성된 적대적 예제에도 효과적인지 평가하는 것.
• 디스틸레이션 중 온도 스케일링이 FGSM 공격에 대한 딥 네ural 네트워크의 강건성에 미치는 영향을 조사하는 것.
• 원래의 방어적 디스틸레이션 논문의 평가를 보완하는 실험 결과를 제공하여, 더 넓은 범위의 적대적 공격 유형으로 확장하는 것.
• 디스틸된 모델이 FGSM으로 생성된 적대적 예제에 대한 취약성을 크게 줄이면서도 높은 정확도를 유지할 수 있는지 확인하는 것.

제안 방법

• 하드 레이블(일반화된 클래스 레이블)을 사용하는 표준 크로스 엔트로피 손실로 MNIST에 기반한 딥 네럴 네트워크를 학습한다.
• 기본 네트워크의 소프트맥스 레이어에 고온도 T > 1를 적용하여 각 훈련 샘플에 대해 클래스에 대한 소프트 확률 분포를 생성한다.
• 기본 네트워크의 소프트 레이블 예측 결과를 새로운 훈련 레이블로 사용하여, 동일한 입력 데이터로 훈련되는 두 번째 디스틸된 신경망을 학습한다.
• 디스틸된 네트워크를 동일한 고온도 T로 학습한 후, 추론 시 T=1로 설정하여 확신 있는 하드 예측을 생성한다.
• 각 테스트 샘플에 대해 ε=0.3로 빠른 기울기 부호 방법(FGSM)을 적용하여 적대적 예제를 생성하고, 디스틸된 모델과 베이스라인 모델 모두의 성공률을 평가한다.
• 온도 T를 1에서 100까지 체계적으로 변화시키며, 디스틸된 모델의 FGSM 공격 성공률을 측정한다.

실험 결과

연구 질문

• RQ1 방어적 디스틸레이션은 MNIST 데이터셋에서 빠른 기울기 부호 방법(FGSM)으로 생성된 적대적 예제의 성공률을 효과적으로 감소시키는가?
• RQ2 방어적 디스틸레이션에서 온도 파rameter T는 FGSM 공격에 대한 모델의 강건성에 어떤 영향을 미치는가?
• RQ3 원래 제이코비안 기반 반복 공격에 대해 검증된 방어적 디스틸레이션이, FGSM과 같은 다른 적대적 공격 방법으로도 일반화되는가?
• RQ4 디스틸된 모델은 FGSM으로 생성된 적대적 예제에 대한 취약성을 크게 줄이면서도 높은 정확도를 유지할 수 있는가?

주요 결과

• 디스틸레이션 없이 학습된 베이스라인 모델은 테스트 정확도 99.51%를 기록했고, ε=0.3일 때 FGSM 공격에 의해 88.03%의 성공률로 공격에 성공했다.
• 온도 T=100일 때, 방어적 디스틸레이션은 MNIST 데이터셋에서 FGSM 공격 성공률을 1.5% 이하로 낮췄다.
• 디스틸레이션 중 온도 T가 증가함에 따라 FGSM 공격 성공률이 단조롭게 감소하여, 강건성이 향상됨을 나타냈다.
• 방어적 디스틸레이션은 빠른 기울기 부호 방법과 제이코비안 기반 반복 공격을 모두 효과적으로 완화하여 광범위한 스펙트럼의 방어 능력을 보였다.