[논문 리뷰] Certified Robustness for Top-k Predictions against Adversarial Perturbations via Randomized Smoothing

Jinyuan Jia, Xiaoyu Cao외 2명|arXiv (Cornell University)|2019. 12. 20.

Adversarial Robustness in Machine Learning참고 문헌 68인용 수 34

한 줄 요약

이 논문은 Gaussian-randomized smoothing으로 상위 k 예측에 대한 엄격한 인증 강건성 반경을 도출하고, 인증 강건성의 범위를 top-1에서 top-k로 확장하며, CIFAR-10 및 ImageNet에서 실용적인 추정 알고리즘과 실험적 검증을 제공합니다.

ABSTRACT

It is well-known that classifiers are vulnerable to adversarial perturbations. To defend against adversarial perturbations, various certified robustness results have been derived. However, existing certified robustnesses are limited to top-1 predictions. In many real-world applications, top-$k$ predictions are more relevant. In this work, we aim to derive certified robustness for top-$k$ predictions. In particular, our certified robustness is based on randomized smoothing, which turns any classifier to a new classifier via adding noise to an input example. We adopt randomized smoothing because it is scalable to large-scale neural networks and applicable to any classifier. We derive a tight robustness in $\ell_2$ norm for top-$k$ predictions when using randomized smoothing with Gaussian noise. We find that generalizing the certified robustness from top-1 to top-$k$ predictions faces significant technical challenges. We also empirically evaluate our method on CIFAR10 and ImageNet. For example, our method can obtain an ImageNet classifier with a certified top-5 accuracy of 62.8\% when the $\ell_2$-norms of the adversarial perturbations are less than 0.5 (=127/255). Our code is publicly available at: \url{https://github.com/jjy1994/Certify_Topk}.

연구 동기 및 목표

• 상위-k 예측에 대한 강건성 보증의 필요성을 제기합니다. 이는 많은 응용 분야에서 상위-1보다 더 중요한 경우가 있습니다.
• Gaussian smoothing 하에서 상위-k 예측에 대한 이론적으로 타이트한 인증 반경을 개발합니다.
• 확률 bound를 추정하고 인증 반경을 계산하기 위한 실용적인 알고리즘을 제공합니다.
• 대규모 데이터셋(CIFAR-10 및 ImageNet)에서 경험적 효과를 입증합니다.

제안 방법

• Gaussian 노이즈를 이용한 Randomized smoothing을 사용하여 smoothed top-k classifier g_k를 정의합니다.
• 주어진 라벨 l과 top-k 집합에 대해 p_l 및 p_S_t를 포함하는 특정 방정식을 푸는 방식으로 타이트한 인증 반경 R_l를 도출합니다.
• 신뢰도와 함께 레이블 확률 p_i를 상한하려는 두 가지 몬테카를로 기반 방법(BinoCP 및 SimuEM)을 제안합니다.
• 지배 방정식에 대해 이진 탐색으로 인증 반경의 하한을 계산하는 알고리즘을 개발합니다.
• 통계적 보장을 갖춘 실용적인 예측 및 인증 절차(Algorithm 1 및 Algorithm 2)를 제공합니다.
• 매개변수(k, sigma, n, alpha)가 CIFAR-10 및 ImageNet에서의 인증된 top-k 정확도에 미치는 영향을 평가합니다.

실험 결과

연구 질문

• RQ1 랜덤화된 smoothing 하에서 인증 강건성이 top-1에서 top-k 예측으로 확장될 수 있는가?
• RQ2 가우시안 노이즈를 이용한 top-k 예측에 대한 인증 반경의 정확한 형태와 타이트함은 무엇인가?
• RQ3 실무적으로 인증 반경을 계산하기 위해 레이블 확률 bound를 신뢰성 있게 추정하는 방법은 무엇인가?
• RQ4 실용적 매개변수(k, sigma, 샘플 수 n, 신뢰도 alpha)가 대규모 데이터셋에서의 인증된 top-k 정확도에 어떤 영향을 미치는가?

주요 결과

• Gaussian-randomized smoothing 하에서 top-k 예측에 대한 첫 번째 인증 반경을 도출했습니다.
• 인증 반경이 가우시안 스무딩에 대해 타이트하다는 것을 특정 조건에서 입증했습니다.
• ImageNet 결과: ell2 반경 0.5에서 인증 top-1 46.6%, top-3 57.8%, top-5 62.8%를 보였습니다 (sigma=0.5).
• CIFAR-10 결과: ell2 반경 0.5에서 인증 top-1 45.2%, top-2 58.8%, top-3 67.2%를 보였습니다 (sigma=0.5).
• 확률 bound를 신뢰도 보장과 함께 얻기 위한 실용적 추정 방법(SimuEM 및 BinoCP)을 제시했습니다.
• provable 보장을 가진 예측 및 인증 워크플로우를 제공했습니다(Algorithm 1 및 Algorithm 2).