[논문 리뷰] Boosting Randomized Smoothing with Variance Reduced Classifiers

Miklós Z. Horváth, Mark Niklas Müller외 2명|arXiv (Cornell University)|2021. 06. 13.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 논문은 랜덤 스무딩(RS)을 위한 분산 감소형 앙상블 방법을 제안하며, 기반 분류기로 앙상블를 활용하여 인증 가능한 강건성을 크게 향상시킨다. 노이즈 하에서 예측 분산을 줄임으로써, CIFAR10과 ImageNet에서 인증 가능한 반경을 5–21% 향상시키며, 각각 0.86과 1.11의 최신 기술(SOTA) ACR를 달성한다. 또한 적응형 샘플링을 도입하여 샘플 복잡도를 최대 55배까지 감소시킨다.

ABSTRACT

Randomized Smoothing (RS) is a promising method for obtaining robustness certificates by evaluating a base model under noise. In this work, we: (i) theoretically motivate why ensembles are a particularly suitable choice as base models for RS, and (ii) empirically confirm this choice, obtaining state-of-the-art results in multiple settings. The key insight of our work is that the reduced variance of ensembles over the perturbations introduced in RS leads to significantly more consistent classifications for a given input. This, in turn, leads to substantially increased certifiable radii for samples close to the decision boundary. Additionally, we introduce key optimizations which enable an up to 55-fold decrease in sample complexity of RS for predetermined radii, thus drastically reducing its computational overhead. Experimentally, we show that ensembles of only 3 to 10 classifiers consistently improve on their strongest constituting model with respect to their average certified radius (ACR) by 5% to 21% on both CIFAR10 and ImageNet, achieving a new state-of-the-art ACR of 0.86 and 1.11, respectively. We release all code and models required to reproduce our results at https://github.com/eth-sri/smoothing-ensembles.

연구 동기 및 목표

• 앙상블이 랜덤 스무딩에서 분산을 줄임으로써 더 높은 인증 가능한 강건성을 유도함을 이론적·실험적으로 입증하는 것.
• RS 인증의 높은 계산 비용 문제를 해결하기 위해 샘플 복잡도를 감소시키는 적응형 샘플링 기법을 도입하는 것.
• 가장 불확실한 샘플들에 대해서만 전체 앙상블 평가를 연기하는 K-공동의견 집계 기법을 개발하는 것.
• 다양한 설정에서 다양한 벤치마크, 특히 ImageNet과 CIFAR10에서 최신 기술 수준의 인증 정확도를 달성하는 것.
• 효율적이고 확장 가능한 딥 네URAL 네트워크 인증을 위한 통계적으로 타당하고 데이터 의존적인 프레임워크를 제공하는 것.

제안 방법

• 입력 노이즈 하에서 예측 일관성을 향상시키기 위해 모델 앙상블의 분산 감소 성질을 활용하는 소프트-앙상블 기법을 제안한다.
• 초기 예측 신뢰도에 기반해 점진적으로 증가하는 샘플 수를 사용하는 단계별로 샘플을 인증하는 적응형 샘플링 전략을 도입한다.
• 기본 모델 중 일부가 일치하지 않을 경우에만 전체 앙상블 평가를 수행하는 K-공동의견 집계 기법을 적용하여 계산 부담을 줄인다.
• 베타-이항 모델링을 기반으로 한 통계적 정지 규칙을 사용하여 높은 확신도로 샘플링를 중단할 시점을 결정한다.
• 표준 스무딩과 노이즈 제거 스무딩 모두에 적용하여 다양한 학습 제도에서의 강건성을 입증한다.
• 이중 단계 인증 프로세스를 적용한다: 첫 번째로 작은 초기 샘플 세트를 사용해 클래스 확률을 추정하고, 두 번째로 신뢰도가 부족할 경우에만 추가 샘플을 추출한다.

실험 결과

연구 질문

• RQ1 모델 앙상블이 랜덤 스무딩에서 분산을 크게 줄여 더 높은 인증 가능한 강건성을 유도할 수 있는가?
• RQ2 적응형 샘플링은 신뢰도를 훼손하지 않고 RS 인증의 샘플 복잡도를 어떻게 감소시킬 수 있는가?
• RQ3 앙상블 크기와 학습 방법이 인증 반경과 정확도에 어떤 영향을 미치는가?
• RQ4 K-공동의견 집계 기법은 높은 인증 정확도를 유지하면서 효율성을 어떻게 향상시키는가?
• RQ5 제안된 방법은 표준 및 노이즈 제거 스무딩 설정 모두에서 ImageNet과 CIFAR10에서 최신 기술 수준의 인증 정확도를 달성할 수 있는가?

주요 결과

• CIFAR10에서 3~10개의 ResNet110 모델 앙상블은 가장 강력한 개별 모델 대비 평균 인증 반경(ACR)을 5%에서 21% 향상시켜 SOTA ACR 0.86를 달성했다.
• ImageNet에서는 3~10개의 모델 앙상블을 사용해 새로운 SOTA ACR 1.11를 달성했으며, 개별 모델보다 뚜렷이 뛰어난 성능을 보였다.
• 적응형 샘플링 전략은 균일 샘플링 대비 평균 인증 시간을 최대 55배까지 단축시켰으며, 정확도 손실는 최소한이었다.
• K-공동의견 집계 기법은 ResNet20에서는 전체 앙상블 평가를 샘플의 1.00%로, ResNet110에서는 0.00%로 줄여 계산을 극적으로 절감했다.
• 일관성 기반 샘플링 전략은 특히 더 큰 반경에서 보다 높은 인증 정확도를 달성했으며, 이는 더 나은 초기 정지 결정 덕분이었다.
• 다양한 학습 방법과 노이즈 수준에서도 높은 성능를 유지하여 강건성과 일반화 능력을 입증했다.