[논문 리뷰] Enhancing Certified Robustness via Smoothed Weighted Ensembling

Chizhou Liu, Yunzhen Feng외 2명|arXiv (Cornell University)|2020. 05. 19.

Adversarial Robustness in Machine Learning참고 문헌 63인용 수 5

한 줄 요약

이 논문은 학습된 가중치를 통해 사전에 훈련된 다수의 기반 모델을 최적의 방식으로 조합함으로써 랜덤 스무딩 분류기의 인증 가능한 강건성을 향상시키는 Smoothed Weighted Ensembling (SWEEN)을 제안한다. SWEEN는 훈련 비용을 줄이며 개별 모델과 표준 앙상블보다 뛰어난 인증 가능한 강건성과 정확도를 달성한다. 이론적 분석을 통해 온건한 가정 하에 거의 최적의 강건성을 보장한다.

ABSTRACT

Randomized smoothing has achieved state-of-the-art certified robustness against $l_2$-norm adversarial attacks. However, it is not wholly resolved on how to find the optimal base classifier for randomized smoothing. In this work, we employ a Smoothed WEighted ENsembling (SWEEN) scheme to improve the performance of randomized smoothed classifiers. We show the ensembling generality that SWEEN can help achieve optimal certified robustness. Furthermore, theoretical analysis proves that the optimal SWEEN model can be obtained from training under mild assumptions. We also develop an adaptive prediction algorithm to reduce the prediction and certification cost of SWEEN models. Extensive experiments show that SWEEN models outperform the upper envelope of their corresponding candidate models by a large margin. Moreover, SWEEN models constructed using a few small models can achieve comparable performance to a single large model with a notable reduction in training time.

연구 동기 및 목표

• 랜덤 스무딩의 최적의 기반 분류기를 선택하여 인증 가능한 강건성을 극대화하는 열린 문제를 해결하기 위해.
• 확장성이나 강건성 보장을 해치지 않으면서 모델 앙상블을 활용하여 스무딩된 분류기의 성능을 향상시키기 위해.
• 추론 및 인증의 계산 비용을 줄이기 위한 효율적이고 적응형 예측 알고리즘을 개발하기 위해.
• 이론적 분석과 실험적 검증을 통해 SWEEN가 거의 최적의 인증 가능한 강건성을 달성할 수 있음을 입증하기 위해.

제안 방법

• SWEEN는 최적의 가중치를 학습하여 사전에 훈련된 다수의 기반 모델을 앙상블함으로써 강건성을 극대화하는 스무딩 분류기를 구축한다.
• 이 방법은 앙상블과 스무딩의 교환 법칙을 활용하여 최종 모델를 가중치가 부여된 앙상블의 스무딩된 버전로 간주할 수 있도록 한다.
• 검증 세트에서 앙상블 가중치를 최적화하기 위해 서브티튜트 손실 함수를 사용하며, 이는 γ-강건성 기준 하에서 최소 위험을 향한 최적화를 가능하게 한다.
• 예측 중에 관련 기반 모델을 동적으로 선택함으로써 추론 및 인증 시간을 줄이는 적응형 예측 알고리즘을 도입한다.
• 이론적 분석을 통해 SWEEN는 온건한 가정 하에 거의 최적의 강건성을 달성할 수 있으며, 최종 모델의 위험에 대한 일반화 경계를 보여준다.
• 이 방법은 표준, 적대적 또는 MACER 훈련을 포함한 어떤 기반 모델 훈련 방법과도 호환된다.

실험 결과

연구 질문

• RQ1 모델 앙상블은 개별 기반 모델의 성능을 초월하여 랜덤 스무딩의 인증 가능한 강건성을 향상시킬 수 있는가?
• RQ2 γ-강건성 지표 하에서 최적의 가중치 앙상블의 이론적 보장은 무엇인가?
• RQ3 강건성 손실 없이 앙상블 스무딩 분류기의 예측 및 인증 비용을 어떻게 줄일 수 있는가?
• RQ4 SWEEN는 훈련 시간을 크게 줄이며 단일 대규모 모델과 비교해 유사하거나 더 뛰어난 성능을 달성할 수 있는가?
• RQ5 SWEEN는 AutoAttack과 같은 강력한 적대적 공격에 대해 실증적인 강건성을 유지하거나 향상시키는가?

주요 결과

• SWEEN 모델은 평가된 모든 작업에서 후보 모델의 상한선을 크게 뛰어넘는 인증 가능한 강건성을 보이며, 뛰어난 성능을 입증한다.
• CIFAR-10에서 SWEEN-3(표준 훈련으로 학습)는 σ=0.25일 때 67.0%의 인증 정확도를 달성하여 같은 노이즈 수준에서 ResNet-20(64.7%)과 ResNet-26(65.4%)를 초월한다.
• 소수의 작은 모델로 구성된 SWEEN 모델는 단일 대규모 모델과 유사한 성능을 달성하며, 훈련 시간이 크게 줄어든다.
• 적응형 예측 알고리즘이 추론 및 인증의 계산 비용을 효과적으로 줄였으며, 높은 강건성을 유지했다.
• SWEEN는 AutoAttack에 대해 강력한 실증적 강건성을 유지하여 σ=0.25일 때 67.0%의 정확도를 기록했으며, 표준 ResNet-20의 64.7%보다 높았다.
• 이론적 분석을 통해 SWEEN는 온건한 가정 하에 높은 확률로 거의 최적의 위험으로 수렴할 수 있음을 확인하였으며, 최적화의 안정성을 검증하였다.