[논문 리뷰] DiffSmooth: Certifiably Robust Learning via Diffusion Models and Local Smoothing

Jiawei Zhang, Zhong‐Zhu Chen외 3명|arXiv (Cornell University)|2023. 08. 28.

Adversarial Robustness in Machine LearningComputer Science인용 수 3

한 줄 요약

이 논문은 확산 모델 기반의 적대적 정제와 국소 스무딩을 결합하여 최고 수준의 인증 가능 로버스트성을 달성하는 검증 가능한 강건성 학습 프레임워크인 DiffSmooth을 제안한다. 한 방향으로는 한 번의 DDPM을 통해 오염된 입력을 정제하고, 그 다음으로 국소 스무딩을 적용함으로써, 검증 가능한 정확도를 향상시킨다. 이로 인해 ImageNet에서 ℓ₂ 반경 1.5일 때 53.0%의 검증 가능한 정확도를 달성하였으며, 이는 이전 최고 성능인 36.0%보다 뚜렷한 향상이다.

ABSTRACT

Diffusion models have been leveraged to perform adversarial purification and thus provide both empirical and certified robustness for a standard model. On the other hand, different robustly trained smoothed models have been studied to improve the certified robustness. Thus, it raises a natural question: Can diffusion model be used to achieve improved certified robustness on those robustly trained smoothed models? In this work, we first theoretically show that recovered instances by diffusion models are in the bounded neighborhood of the original instance with high probability; and the "one-shot" denoising diffusion probabilistic models (DDPM) can approximate the mean of the generated distribution of a continuous-time diffusion model, which approximates the original instance under mild conditions. Inspired by our analysis, we propose a certifiably robust pipeline DiffSmooth, which first performs adversarial purification via diffusion models and then maps the purified instances to a common region via a simple yet effective local smoothing strategy. We conduct extensive experiments on different datasets and show that DiffSmooth achieves SOTA-certified robustness compared with eight baselines. For instance, DiffSmooth improves the SOTA-certified accuracy from $36.0\%$ to $53.0\%$ under $\ell_2$ radius $1.5$ on ImageNet. The code is available at [https://github.com/javyduck/DiffSmooth].

연구 동기 및 목표

• 큰 편차 반경에서 기존의 확산 기반 방어 기법의 제한된 검증 가능한 강건성 문제를 해결한다.
• DensePure와 같은 이전 방법에서 다중 스텝 역방향 확산으로 인한 높은 계산 비용 문제를 해결한다.
• 확산 모델의 정제 성질과 국소 스무딩을 활용하여 스무딩 분류기의 검증 가능한 강건성을 향상시킨다.
• 한 번의 DDPM을 통한 원래 입력의 근접 복원 가능성과 복원된 인스턴스의 유한성에 대한 이론적 근거를 제공한다.
• 높은 정상 정확도를 유지하면서도 뛰어난 검증 가능한 강건성을 달성하는 실용적이고 효율적인 파이프라인을 개발한다.

제안 방법

• 사전 학습된 DDPM을 사용해 한 번의 단계로 적대적 또는 가우시안 증강된 입력을 정제하여 원래에 가까운 정제된 인스턴스를 복원한다.
• 이론적 분석을 통해, 미묘한 조건 하에 정제된 출력이 원래 입력의 유한한 이웃 영역 내에 존재할 확률이 높다는 것을 보여준다.
• 복원된 인스턴스를 국소 스무딩 전략의 입력으로 사용하며, 다수의 노이즈가 섞인 변형을 생성하고 강력하게 학습된 스무딩 분류기를 통해 분류한다.
• 국소적으로 흐린 정제된 인스턴스들에 대한 스무딩 분류기의 예측 결과를 다수결 투표하여 확률적 검증을 제공한다.
• 성능 저하 없이 검증 가능한 강건성을 극대화하기 위해 국소 스무딩 노이즈의 크기(σ′)와 스무딩 샘플 수(m)를 최적화한다.
• DDS와 같은 기준 모델과의 공정한 비교를 위해 일정한 예측 쿼리 수(예: ImageNet에서 10,000회)를 유지한다.

실험 결과

연구 질문

• RQ1 확산 기반 정제는 큰 편차 반경에서 스무딩 분류기의 검증 가능한 강건성을 향상시킬 수 있는가?
• RQ2 확산 기반 정제와 국소 스무딩을 조합하면 단독으로 확산 또는 랜덤 스무딩을 사용하는 것보다 더 뛰어난 검증 가능한 강건성을 달성할 수 있는가?
• RQ3 국소 스무딩 노이즈 크기(σ′)의 선택이 검증 가능한 정확도와 정상 정확도에 어떤 영향을 미치는가?
• RQ4 한 번의 DDPM 근사가 원래 입력 분포를 효과적으로 복원할 수 있는가? 이는 강건성 검증 가능성을 보장하는가?
• RQ5 이 방법의 주요 계산 병목 현상은 확산 단계인지, 국소 스무딩 단계인가?

주요 결과

• DiffSmooth는 ImageNet에서 ℓ₂ 반경 1.5일 때 53.0%의 검증 가능한 정확도를 달성하였으며, 이는 이전 최고 성능인 36.0%보다 뚜렷한 향상이다.
• DDS와 동일한 계산 비용(10,000회의 예측 쿼리, ImageNet 기준)을 유지함에도 불구하고, 더 높은 검증 가능한 강건성과 정상 정확도를 확보하였다.
• m=5개의 국소 스무딩 샘플만으로도 의미 있는 검증 가능한 강건성이 확보되었으며, 이는 확산 단계를 초월한 계산 효율성을 보여준다.
• 방법의 성능는 σ′의 선택에 민감하며, 최적의 값은 기반 스무딩 모델에 따라 달라진다(예: 가우시안 스무딩의 경우 σ′ ≈ σ, SmoothAdv의 경우 σ′ ≈ σ/2).
• 주요 계산 비용은 국소 스무딩이 아니라 역방향 확산 단계에서 발생하며, 이는 ImageNet에서 이미지당 약 553초이다.
• 국소 스무딩만으로는 표준 랜덤 스무딩보다 검증 가능한 정확도를 향상시킬 수 없으며, σ′가 너무 클 경우 성능이 저하될 수 있다. 이는 확산 정제 단계의 필요성을 확인한다.