[논문 리뷰] Denoised Smoothing: A Provable Defense for Pretrained Classifiers

Hadi Salman, Mingjie Sun외 3명|arXiv (Cornell University)|2020. 03. 04.

Adversarial Robustness in Machine Learning참고 문헌 52인용 수 37

한 줄 요약

임의의 사전 학습 이미지 분류기를 L2 적대적 입력에 대해 증명 가능한 강건한 분류기로 바꾸는 방법으로, 맞춤 학습된 디노이저를 앞에 추가하고 무작위 스무딩을 적용하여 화이트박스 및 블랙박스 설정에서 사용 가능하며 ImageNet, CIFAR-10, 그리고 공개 API에서 시연되었습니다.

ABSTRACT

We present a method for provably defending any pretrained image classifier against $\ell_p$ adversarial attacks. This method, for instance, allows public vision API providers and users to seamlessly convert pretrained non-robust classification services into provably robust ones. By prepending a custom-trained denoiser to any off-the-shelf image classifier and using randomized smoothing, we effectively create a new classifier that is guaranteed to be $\ell_p$-robust to adversarial examples, without modifying the pretrained classifier. Our approach applies to both the white-box and the black-box settings of the pretrained classifier. We refer to this defense as denoised smoothing, and we demonstrate its effectiveness through extensive experimentation on ImageNet and CIFAR-10. Finally, we use our approach to provably defend the Azure, Google, AWS, and ClarifAI image classification APIs. Our code replicating all the experiments in the paper can be found at: https://github.com/microsoft/denoised-smoothing.

연구 동기 및 목표

• 기저 모델을 재학습시키지 않고도 사전 학습 이미지 분류기에 대해 입증 가능한 L2-강건성을 가능하게 한다.
• 화이트박스 및 블랙박스 시나리오를 포함한 공개 비전 API에서의 강건성 적용 및 인증.
• 사전 학습된 모델과 함께 대규모 데이터셋(ImageNet) 및 CIFAR-10에서의 효과 시演.
• 디노이저 스무딩이 상용 API를 래핑하여 인증 가능한 강건성을 제공할 수 있음을 보인다.

제안 방법

• 훈련된 디노이저 D_theta를 사전 학습된 분류기 f 앞에 추가하여 f∘D_theta를 형성한다.
• 합성 분류기에 대해 Gaussian 잡음 변형 하에서 가장 가능성이 높은 클래스를 출력하는 분포를 얻기 위해 합성 분류기에 무작위 스무딩을 적용한다.
• 디노이저를 mean-squared error (MSE) 또는 stability objective (Stab) 중 하나로 학습합니다; 선택적으로 MSE와 Stab를 조합한 Stab+MSE를 사용할 수 있다.
• Monte Carlo 샘플링으로 추정된 p_A와 p_B를 이용해 R = (sigma/2)[Phi^{-1}(p_A) - Phi^{-1}(p_B)]로 인증 반경 R를 계산한다.
• 화이트박스 설정에서는 f를 통해 역전파하여 디노이저를 학습하고, 블랙박스 설정에서는 대리 분류기를 사용해 디노이저를 학습 및 전이한다.
• Azure, Google Cloud Vision, AWS Rekognition, ClarifAI를 API를 호출하기 전에 디노이저로 래핑하여 공개 API에 대한 적용 가능성을 시演한다.

실험 결과

연구 질문

• RQ1 사전 학습된 분류기를 재학습 없이도 입증 가능한 강건성으로 만들 수 있는가?
• RQ2 사전 학습된 분류기에 대해 효과적인 무작위 스무딩을 가능하게 하는 디노이저를 어떻게 학습해야 하는가?
• RQ3 화이트박스 대비 블랙박스 접근이 디노이즈드 스무딩 파이프라인의 인증 가능한 강건성에 어떤 영향을 미치는가?
• RQ4 상용 비전 API에 대해 블랙박스 시스템으로서 강건성을 인증할 수 있는가?
• RQ5 다른 디노이저 학습 목표(MSE vs Stab vs Stab+MSE)가 인증 정확도에 어떤 영향을 미치는가?

주요 결과

• Stab로 학습된 디노이저를 부착하면 CIFAR-10에서 No denoiser 기준선에 비해 인증 정확도가 크게 향상된다(예: ℓ2<64/255에서 49% 증가).
• ImageNet에서 ResNet-50의 경우 화이트박스 및 블랙박스 설정에서 ℓ2 반지름이 127/255 주변에서 인증 정확도에 의미 있는 증가를 보인다(예: 각각 33% 및 31% 개선).
• CIFAR-10에서 surrogate 모델을 사용한 블랙박스 인증은 기준선 대비 현저한 향상을 얻는다(예: ℓ2<64/255에서 38% 개선).
• ImageNet에서 Stab+MSE 디노이저는 MSE 단독 및 No denoiser보다 앞선 성능을 보이며 ResNet-18/34/50에 걸쳐 큰 이득을 입증한다.
• 이 방법은 Azure, Google Cloud Vision, AWS Rekognition, ClarifAI의 네 가지 주요 공개 API에 대해 인증 가능한 강건성을 가능하게 하며 API 출력에 대한 표준 무작위 스무딩보다 디노이저가 우수를 보인다.
• surrogate 모델을 통한 디노이저의 전달성은 서로 다른 사전 학습 아키텍처 간의 효과적인 블랙박스 인증을 가능하게 한다.