[논문 리뷰] Diffusion Models for Adversarial Purification

Weili Nie, Brandon Guo외 4명|arXiv (Cornell University)|2022. 05. 16.

Adversarial Robustness in Machine Learning인용 수 78

한 줄 요약

DiffPure는 순방향 및 역 확산 과정을 사용하여 적대적 이미지를 정화하고, 어조도 그래디언트(adjoints) 방법을 통해 강력한 적응 공격을 평가할 수 있게 하며, CIFAR-10, ImageNet, CelebA-HQ 전반에서 최첨단 강건성을 달성합니다.

ABSTRACT

Adversarial purification refers to a class of defense methods that remove adversarial perturbations using a generative model. These methods do not make assumptions on the form of attack and the classification model, and thus can defend pre-existing classifiers against unseen threats. However, their performance currently falls behind adversarial training methods. In this work, we propose DiffPure that uses diffusion models for adversarial purification: Given an adversarial example, we first diffuse it with a small amount of noise following a forward diffusion process, and then recover the clean image through a reverse generative process. To evaluate our method against strong adaptive attacks in an efficient and scalable way, we propose to use the adjoint method to compute full gradients of the reverse generative process. Extensive experiments on three image datasets including CIFAR-10, ImageNet and CelebA-HQ with three classifier architectures including ResNet, WideResNet and ViT demonstrate that our method achieves the state-of-the-art results, outperforming current adversarial training and adversarial purification methods, often by a large margin. Project page: https://diffpure.github.io.

연구 동기 및 목표

• 감정되지 않은 공격자에 대한 재학습 없이 강건한 방어를 목표로 한다.
• 가 semantics를 보존하면서 perturbations를 제거하기 위해 확산 기반의 적대적 정화를 도입한다.
• 확산 타임스텝이 정화와 의미를 어떻게 균형 잡는지 이론적 가이드를 제공한다.
• 강력한 적응 공격에 대한 평가를 위해 adjoint 방법을 통한 효율적인 그래디언트 계산을 가능하게 한다.
• DiffPure가 다수의 데이터셋과 아키텍처에서 우수한 강건성을 달성한다는 것을 경험적으로 시현한다.

제안 방법

• 적대적 이미지에 소량의 노이즈를 추가하기 위해 순방향 확산 단계를 적용한다.
• 로컬 perturbation을 제거하면서 레이블 의미를 보존하기 위해 시간 t*로 확산한다.
• denoising 모델을 사용하여 t*에서 0으로의 역 SDE를 풀어 정화된 이미지를 회복한다.
• Adjoint 방법을 사용하여 SDE를 통해 그래디언트를 역전파하여 강력한 적응 공격에 대해 평가한다.
• 확산 타임스텝이 정화 및 의미에 미치는 영향을 이론적으로 한계로 제시한다.
• CIFAR-10, ImageNet, CelebA-HQ에서 ResNet, WideResNet, ViT에 대해 AutoAttack 및 BPDA+EOT로 평가한다.

실험 결과

연구 질문

• RQ1 확산 모델이 공격 형식이나 분류기를 가정하지 않고도 적대적 섭 perturbations를 정화할 수 있는가?
• RQ2 perturbation 제거와 데이터 의미 보존 사이의 균형을 맞추는 최적의 확산 타임스텝 t*는 무엇인가?
• RQ3 adjoint 기반 그래디언트 계산이 강력한 적응 공격에 대한 견고한 평가를 가능하게 하는가?
• RQ4 DiffPure가 다양한 데이터셋과 아키텍처에서 최첨단 강건성을 달성하는가?
• RQ5 보지 못한 위협 모델 하에서 DiffPure가 적대적 학습 및 다른 정화 방법과 비교하여 어떤 차이를 보이는가?

주요 결과

• DiffPure는 CIFAR-10에서 AutoAttack ℓ∞ 대비 최대 5.44 포인트, ImageNet에서 최대 7.68 포인트의 적대적 강건성을 향상시키며 최첨단 성능을 달성한다.
• CIFAR-10 ℓ2에서 DiffPure는 78.58%의 강건 정확도를 달성하며(대략 비교치) 추가 데이터 없이도 여러 설정에서 기존 방법을 능가한다.
• DiffPure는 보지 못한 위협에 대해 큰 상승을 보이며, 경쟁적인 보지 못한 위협 기준선 대비 최대 36%의 강건 정확도 향상을 달성한다.
• BPDA+EOT에 대항하여 DiffPure는 상당한 강건 정확도 이득을 제공한다(예: CIFAR-10에서 +11.31%, CelebA-HQ에서 +15.63%).
• CelebA-HQ와 CIFAR-10에서 확산 기반 정화는 강력한 적응 공격하에서도 표준 및 강건 지표 모두에서 ND 기반 생성 정화기보다 우수한 성능을 보인다.
• 변형 연구에서 최적의 t*는 위협 모델에 따라 다르게 작용하며, t*가 커질수록 표준 정확도는 감소하지만 강건 정확도는 중간 지점에서 피크를 이룬다.