[논문 리뷰] Multi-scale Diffusion Denoised Smoothing

Jongheon Jeong, Jinwoo Shin|arXiv (Cornell University)|2023. 10. 25.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 다중 척도 확산 노이즈 제거 스무딩을 제안하며, 단일 확산 모델을 사용해 다양한 노이즈 척도에서 노이즈 제거를 선택적으로 적용함으로써 랜덤 스무딩에서의 정확도-강건성 트레이드오���을 향상시키는 방법이다. 원본 이미지 복원 가능할 경우 일관된 출력을 생성하도록 확산 모델을 미세조정하고, 그렇지 않은 경우 다양한 출력을 생성함으로써, 이 방법은 ImageNet에서 최신 기준 강건성 성능를 달성하면서도 비스무딩 모델에 가까운 높은 정확도를 유지한다.

ABSTRACT

Along with recent diffusion models, randomized smoothing has become one of a few tangible approaches that offers adversarial robustness to models at scale, e.g., those of large pre-trained models. Specifically, one can perform randomized smoothing on any classifier via a simple "denoise-and-classify" pipeline, so-called denoised smoothing, given that an accurate denoiser is available - such as diffusion model. In this paper, we present scalable methods to address the current trade-off between certified robustness and accuracy in denoised smoothing. Our key idea is to "selectively" apply smoothing among multiple noise scales, coined multi-scale smoothing, which can be efficiently implemented with a single diffusion model. This approach also suggests a new objective to compare the collective robustness of multi-scale smoothed classifiers, and questions which representation of diffusion model would maximize the objective. To address this, we propose to further fine-tune diffusion model (a) to perform consistent denoising whenever the original image is recoverable, but (b) to generate rather diverse outputs otherwise. Our experiments show that the proposed multi-scale smoothing scheme combined with diffusion fine-tuning enables strong certified robustness available with high noise level while maintaining its accuracy close to non-smoothed classifiers.

연구 동기 및 목표

• 대규모 모델에서 오랫동안 지속된 정확도-강건성 트레이드오플을 해결하기 위해.
• 다중 척도 스무딩이 정확도를 희생시키지 않고 검증 강건성을 향상시킬 수 있는지 탐색하기 위해.
• 노이즈 제거 스무딩 파이프라인에서 성능을 향상시키기 위한 확산 모델의 미세조정 전략을 개발하기 위해.
• 사전 훈련된 분류기와 호환되는 증명 가능하고 확장 가능한 방어 방법을 제공하기 위해.

제안 방법

• 다양한 노이즈 척도를 가진 다수의 스무딩 분류기를 집계함으로써 다중 척도 스무딩을 제안하며, 확산 모델의 척도 무관성 특성을 활용한다.
• 다양한 척도 간의 집합적 검증 강건성을 극대화하기 위한 새로운 최적화 목표를 도입한다.
• 단일 확산 모델을 사용해 여러 노이즈 수준에서 효율적으로 노이즈 제거 입력을 생성한다.
• 원본 이미지 복원 가능할 경우 일관된 노이즈 제거를 수행하고, 그렇지 않은 경우 다양한 출력을 생성하도록 확산 모델을 미세조정한다.
• 합이 1이 되는 조건 하에 최대 검증 반경을 달성하기 위해 1차원 그리드 서치 최적화를 사용해 최적의 노이즈 척도 가중치를 계산한다.
• 카우시-쿠른-터커(KKT) 조건과 해석적 레이마를 활용해 특정 노이즈 척도가 집계에 영향을 주지 않는 조건을 유도한다.

실험 결과

연구 질문

• RQ1 다중 척도 스무딩은 노이즈 제거 스무딩에서 높은 정확도를 유지하면서도 검증 강건성을 향상시킬 수 있는가?
• RQ2 노이즈 제거 스무딩 성능을 향상시키기 위해 확산 모델을 최적의 방식으로 미세조정하는 방법은 무엇인가?
• RQ3 다양한 척도에서 스무딩을 선택적으로 적용하는 것이 균일한 스무딩보다 더 나은 강건성-정확도 트레이드오플을 이끌 수 있는가?
• RQ4 단일 확산 모델이 다수의 노이즈 척도를 효율적이고 확장 가능한 방식으로 효과적으로 지원할 수 있는가?
• RQ5 확산 모델의 어떤 표현 또는 훈련 목표가 다양한 척도 간의 집합적 강건성을 극대화하는가?

주요 결과

• 제안된 다중 척도 스무딩 기법은 ImageNet에서 최신 기준 ℓ₂ 검증 강건성을 달성하며 이전 방법들을 능가한다.
• 이 방법은 비스무딩 분류기의 테스트 정확도에 매우 가까운 성능을 유지하며, 정확도-강건성 트레이드오플을 크게 향상시킨다.
• 원본 이미지 복원 가능할 경우 일관된 출력을 생성하고, 그렇지 않은 경우 다양한 출력을 생성하도록 확산 모델을 미세조정하면 강건성이 향상된다.
• 최적화 프레임워크는 검증 강건성 반경을 극대화하는 노이즈 척도 가중치를 성공적으로 계산한다.
• 실험 결과는 이 방법이 유효한 강건성 인증을 제공하며 대규모 모델에 대해 확장 가능하다는 것을 보여준다.
• 이 접근법은 적절한 校정을 갖춘 입력 의존적 스무딩이 이전의 취약한 기법들과 달리 강건하고 정확할 수 있음을 시사한다.