[논문 리뷰] Black-box Smoothing: A Provable Defense for Pretrained Classifiers.

Hadi Salman, Mingjie Sun외 3명|arXiv (Cornell University)|2020. 03. 04.

Adversarial Robustness in Machine Learning참고 문헌 45인용 수 12

한 줄 요약

이 논문은 랜덤화 스무딩과 쿼리 기반 방어를 사용하여, 기존에 훈련된 이미지 분류기의 $ε$-대비 공격에 대해 $τ_p$-노름에서 증명 가능한 방어를 제공하는 블랙박스 스무딩을 소개한다. 이 방법은 원본 분류기를 수정하지 않으면서도, 단지 쿼리 액세스만으로도 강건성을 확보하며, Azure, Google, AWS, ClarifAI 등의 주요 클라우드 API에서 ImageNet과 CIFAR-10에서 성공적으로 방어한다.

ABSTRACT

We present a method for provably defending any pretrained image classifier against $\ell_p$ adversarial attacks. By prepending a custom-trained denoiser to any off-the-shelf image classifier and using randomized smoothing, we effectively create a new classifier that is guaranteed to be $\ell_p$-robust to adversarial examples, without modifying the pretrained classifier. The approach applies both to the case where we have full access to the pretrained classifier as well as the case where we only have query access. We refer to this defense as black-box smoothing, and we demonstrate its effectiveness through extensive experimentation on ImageNet and CIFAR-10. Finally, we use our method to provably defend the Azure, Google, AWS, and ClarifAI image classification APIs. Our code replicating all the experiments in the paper can be found at this https URL .

연구 동기 및 목표

• 기존 분류기의 아키텍처나 훈련 데이터에 관계없이, 모델을 수정하지 않고도 $τ_p$-노름에서 $ε$-대비 공격에 대해 증명 가능한 방어를 제공하는 방어 기법을 개발하는 것.
• 모델 전체 액세스가 아닌, 단지 쿼리 액세스만으로도 강건성을 확보할 수 있도록 하는 것.
• Azure, Google, AWS, ClarifAI와 같은 실제 웹 기반 API에서의 효과를 입증하는 것.
• 노이즈 제거기 기반 스무딩 메커니즘을 통해 강건성을 확보하면서도 높은 정확도를 유지하는 것.

제안 방법

• 기존 분류기의 입력 전에 맞춤형으로 훈련된 노이즈 제거기를 삽입하여 입력을 변환한다.
• 노이즈 제거기의 출력에 랜덤화 스무딩을 적용하여, 보장된 $τ_p$-강건성을 갖는 새로운 분류기를 생성한다.
• 모델 전체 액세스와 쿼리 전용 액세스 모두에서 작동하여 블랙박스 적용이 가능하다.
• 노이즈 제거기는 스무딩 분포 하에서의 기대 강건성 오차를 최소화하도록 훈련된다.
• 최종 분류기의 예측은 다수의 노이즈가 섞인 입력에 대한 다수결 투표에 기반하며, 신뢰도 구간은 스무딩 분포에서 유도된다.
• 실제 웹 기반 API에 종단 간(end-to-end)으로 적용되어 실용적 구현을 입증한다.

실험 결과

연구 질문

• RQ1 기존 분류기의 아키텍처나 훈련 데이터에 관계없이, 모델 수정 없이도 $τ_p$-강건성을 증명할 수 있는 방어 기법을 구축할 수 있는가?
• RQ2 모델 전체 액세스가 아닌 쿼리 액세스만으로도 이 방어 기법이 얼마나 효과적인가?
• RQ3 Azure, Google와 같은 실제 웹 기반 클라우드 기반 이미지 분류 API에 이 방법을 성공적으로 적용할 수 있는가?
• RQ4 블랙박스 스무딩의 맥락에서 강건성과 표준 정확도 사이의 상호 교환 관계는 어떠한가?
• RQ5 ImageNet과 CIFAR-10과 같은 다양한 데이터셋에서 이 방어 기법의 성능 스케일링 능력은 어떠한가?

주요 결과

• 이 방법은 아키텍처나 훈련 데이터에 관계없이 어떤 기존 분류기이든 $τ_p$-강건성을 증명할 수 있다.
• 표준 정확도를 높게 유지하면서도 $τ_p$-노름 노이즈에 대한 강건성 보장을 제공한다.
• Azure, Google, AWS, ClarifAI의 이미지 분류 API를 성공적으로 악성 공격으로부터 방어한다.
• 모델 전체 액세스와 쿼리 전용 액세스 모두에서 효과적으로 작동하여 블랙박스 적용 가능성을 입증한다.
• ImageNet과 CIFAR-10에서의 광범위한 실험을 통해 다양한 환경에서 강건성과 실용성을 입증한다.