[논문 리뷰] Certifying Confidence via Randomized Smoothing

Aounon Kumar, Alexander Levine외 2명|arXiv (Cornell University)|2020. 09. 17.

Adversarial Robustness in Machine Learning참고 문헌 37인용 수 9

한 줄 요약

이 논문은 이진 투표에만 의존하는 것 대신 기반 분류기의 신뢰도 점수 분포를 활용하여 랜덤 스미oothing 분류기에서 예측 신뢰도를 인증하는 방법을 제안한다. 소프트맥스 신뢰도 점수를 고려한 네이만-피어슨 보조정리를 적응하여, 신뢰도 임계값에 대해 더 날카로운 인증 반경을 계산함으로써, 기존의 단순한 경계에 비해 CIFAR-10 및 ImageNet에서 상당히 향상된 강건성 보장을 달성한다.

ABSTRACT

Randomized smoothing has been shown to provide good certified-robustness guarantees for high-dimensional classification problems. It uses the probabilities of predicting the top two most-likely classes around an input point under a smoothing distribution to generate a certified radius for a classifier's prediction. However, most smoothing methods do not give us any information about the confidence with which the underlying classifier (e.g., deep neural network) makes a prediction. In this work, we propose a method to generate certified radii for the prediction confidence of the smoothed classifier. We consider two notions for quantifying confidence: average prediction score of a class and the margin by which the average prediction score of one class exceeds that of another. We modify the Neyman-Pearson lemma (a key theorem in randomized smoothing) to design a procedure for computing the certified radius where the confidence is guaranteed to stay above a certain threshold. Our experimental results on CIFAR-10 and ImageNet datasets show that using information about the distribution of the confidence scores allows us to achieve a significantly better certified radius than ignoring it. Thus, we demonstrate that extra information about the base classifier at the input point can help improve certified guarantees for the smoothed classifier. Code for the experiments is available at https://github.com/aounon/cdf-smoothing.

연구 동기 및 목표

• 표준 랜덤 스미oothing에서 신뢰도 정보가 부족한 문제를 해결하기 위해, 예측 레이블은 인증하지만 예측의 확신 수준을 정량화하지 못하는 점을 해결한다.
• 예측 클래스 뿐 아니라 스미oothing된 분류기의 신뢰도 점수를 인증하는 방법을 개발한다.
• 기반 분류기의 신뢰도 점수 분포를 활용하여, 모든 투표를 동일하게 취급하는 것 대신 강건성 보장을 향상시킨다.
• 신뢰도 점수 분포를 통합할 경우 단순한 경계보다 훨씬 더 나은 인증 반경을 얻을 수 있음을 입증한다.

제안 방법

• 이 방법은 입력 주변의 가우시안 노이즈에 대해 소프트맥스 신뢰도 점수의 평균을 내는 방식으로 이진 투표를 대체한다.
• 신뢰도 점수의 누적분포함수(CDF)를 이용하여, 악성 공격에 노출된 상황에서 예측 클래스의 기대 신뢰도 점수에 하한을 도출한다.
• 투표 횟수뿐 아니라 연속적인 신뢰도 값까지 고려한 네이만-피어슨 보조정식을 적응하여 경계를 구성한다.
• 이진 탐색 알고리즘을 사용하여, 기대 신뢰도가 높은 확률로 사용자 정의 임계값을 초과하는 최대 ℓ₂ 반경을 계산한다.
• 두 가지 신뢰도 측정 방법을 사용한다: 상위 클래스의 평균 예측 점수와 상위 및 둘째로 높은 점수 간의 마진.
• 기존의 단순한 호프딩 기반 경계보다, 전체 신뢰도 점수 분포를 활용함으로써 더 날카로운 하한을 제공한다.

실험 결과

연구 질문

• RQ1 스미oothing된 분류기에서 예측 클래스 외의 신뢰도 점수도 인증할 수 있는가?
• RQ2 신뢰도 점수 분포를 통합할 경우 표준 랜덤 스미oothing보다 더 강력한 인증 강건성 보장을 달성할 수 있는가?
• RQ3 CDF 기반 경계의 성능은 분포 정보를 忽시하는 단순한 경계에 비해 어떻게 비교되는가?
• RQ4 신뢰도 인증 스미oothing은 CIFAR-10 및 ImageNet과 같은 실제 데이터셋에서 인증 정확도를 향상시킬 수 있는가?

주요 결과

• CDF 기반 방법은 CIFAR-10 및 ImageNet에서 여러 신뢰도 임계값에 대해 기존의 단순 경계보다 유의미하게 높은 인증 정확도를 달성한다.
• σ=0.25일 때 CIFAR-10에서 반경 0.25에 대해 CDF 기반 방법은 기준선 대비 상당한 폭의 인증 정확도 향상을 보였다.
• 임계값이 0일 때, 마진 기반 신뢰도 측정이 평균 예측 점수 측정보다 略적으로 더 높은 인증 정확도를 제공한다.
• 이 방법은 기반 분류기의 정확도가 높더라도, 신뢰도 점수 분포에 포함된 정보를 활용할 수 있음을 입증하여, 인증 강건성을 강화함을 보여준다.