[논문 리뷰] SmoothMix: Training Confidence-calibrated Smoothed Classifiers for Certified Robustness

Jongheon Jeong, Sejun Park외 4명|arXiv (Cornell University)|2021. 11. 17.

Adversarial Robustness in Machine Learning인용 수 13

한 줄 요약

SmoothMix는 적대적 훈련 방법을 제안하며, 적대적 방향을 따라 자기 혼합(mixup)을 통해 과신한 근접한 비클래스 예측을 校정함으로써 보정된 분류기의 인증된 $ε$-안정성(robustness)을 향상시킨다. 혼합 손실을 사용해 예측을 균일성으로 정규화함으로써 명시적인 노름 제약 없이도 안정성을 향상시키며, MNIST, CIFAR-10, ImageNet 벤치마크에서 최신 기술(SOTA) 수준의 인증 정확도를 달성한다.

ABSTRACT

Randomized smoothing is currently a state-of-the-art method to construct a certifiably robust classifier from neural networks against $\ell_2$-adversarial perturbations. Under the paradigm, the robustness of a classifier is aligned with the prediction confidence, i.e., the higher confidence from a smoothed classifier implies the better robustness. This motivates us to rethink the fundamental trade-off between accuracy and robustness in terms of calibrating confidences of a smoothed classifier. In this paper, we propose a simple training scheme, coined SmoothMix, to control the robustness of smoothed classifiers via self-mixup: it trains on convex combinations of samples along the direction of adversarial perturbation for each input. The proposed procedure effectively identifies over-confident, near off-class samples as a cause of limited robustness in case of smoothed classifiers, and offers an intuitive way to adaptively set a new decision boundary between these samples for better robustness. Our experimental results demonstrate that the proposed method can significantly improve the certified $\ell_2$-robustness of smoothed classifiers compared to existing state-of-the-art robust training methods.

연구 동기 및 목표

• 정규화된 분류기에서 정확도와 인증 안정성 간의 상충 관계를 개선하기 위해 신뢰도 校정을 향상시키는 것.
• 과신한 근접한 비클래스 샘플이 안정성에 악영향을 미치는 원인를 규명하고 이를 완화하는 것.
• 적대적 예시에 대한 명시적 노름 제약 없이도 안정성을 향상시키는 훈련 체계를 개발하는 것.
• 혼합을 적대적 방향에 따라 적용해 결정 경계를 적응적으로 재정의하는 방법을 제공하는 것.
• 랜덤화 스무딩을 위한 기존의 강건한 훈련 방법보다 더 나은 인증 안정성을 달성하는 것.

제안 방법

• SmoothMix는 적대적 편향 방향을 따라 입력의 볼록 조합을 생성하는 자기 혼합 훈련 체계를 도입한다.
• 근접한 비클래스 샘플에서 과신한 예측을 균일성으로 정규화하기 위해 혼합 손실을 적용함으로써 신뢰도 校정을 향상시킨다.
• 적대적 예시에 대해 명시적인 $ε$-노름 제약을 부과하지 않아, 더 먼 비클래스 샘플에서도 훈련이 가능하다.
• 보정된 분류기의 局소적 매끄러움을 활용해 원래의 데이터 분포를 초월한 신뢰도 校정 메커니즘을 정의한다.
• 랜덤화 스무딩에 사용되는 기본 분류기의 훈련에 통합되어 최종 보정된 분류기의 인증 안정성을 향상시킨다.
• 다양한 데이터셋(MNIST, CIFAR-10, ImageNet)과 노이즈 수준, 하이퍼파라미터를 기반으로 평가된다.

실험 결과

연구 질문

• RQ1 과신한 근접한 비클래스 샘플은 보정된 분류기의 인증 안정성을 어떻게 악화시킬 수 있는가?
• RQ2 적대적 방향을 따라 자기 혼합을 통해 예측의 신뢰도를 효과적으로 校정할 수 있는가?
• RQ3 적대적 예시에 대한 명시적 노름 제약을 제거해도 기존의 적대적 훈련보다 더 나은 안정성을 달성할 수 있는가?
• RQ4 혼합을 통한 신뢰도 校정은 청소정확도를 희생시키지 않고도 더 나은 인증 정확도를 달성할 수 있는가?
• RQ5 SmoothMix는 SmoothAdv 및 일致성 훈련과 같은 최신 기술(SOTA) 방법과 비교해 인증 안정성에서 어떤가?

주요 결과

• σ=1.0일 때 CIFAR-10에서 SmoothMix는 ε=1.5에서 43%의 인증 테스트 정확도를 달성했으며, SmoothAdv(38%)와 기준 가우시안 방법(37%)을 능가했다.
• σ=1.0일 때 ImageNet에서 SmoothMix는 ε=3.0에서 30%의 인증 정확도를 달성했으며, SmoothAdv(30%)와 기준값(26%)을 초월했다.
• σ=1.0일 때 MNIST에서 SmoothMix는 ε=1.5에서 64.1%의 인증 정확도를 달성했으며, 가우시안 기준값(59.6%)과 SmoothAdv(63.7%)를 뛰어넘었다.
• 제거 분석 결과, 노이즈 샘플 수 m을 1에서 4로 증가시킬수록 인증 정확도가 향상되었으며, m=4일 때 최고 성능을 기록했다.
• 모든 데이터셋에서 ACR(Average Confidence Radius)가 유지되거나 향상되어 더 나은 신뢰도 校정을 나타냈다.
• 모든 테스트된 ε 값에서 ImageNet에서 SmoothMix는 모든 기준값 중 최고의 인증 정확도를 기록했으며, ACR 1.047을 기록해 SmoothAdv의 1.040을 상회했다.