[논문 리뷰] Diffusion Models for Imperceptible and Transferable Adversarial Attack

Jianqi Chen, Hao Chen외 4명|arXiv (Cornell University)|2023. 05. 14.

Adversarial Robustness in Machine Learning인용 수 6

한 줄 요약

이 논문은 흐림이 없는 고도로 이식 가능한 적대적 예제를 생성하기 위해 확산 모델을 활용하는 DiffAttack라는 최초의 적대적 공격 프레임워크를 제안한다. 확산 모델의 잠재공간에서 노이즈를 최적화하고, 그 모델의 생성 능력과 암묵적 분류 능력을 활용함으로써, 다양한 모델과 방어 기법에 걸쳐 높은 공격 성공률를 달성하면서도 시각적 인식이 거의 불가능한 수준을 유지한다. 이는 기존의 방법들보다 이식성과 인간의 인식 불가능성 측면에서 뛰어나다.

ABSTRACT

Many existing adversarial attacks generate $L_p$-norm perturbations on image RGB space. Despite some achievements in transferability and attack success rate, the crafted adversarial examples are easily perceived by human eyes. Towards visual imperceptibility, some recent works explore unrestricted attacks without $L_p$-norm constraints, yet lacking transferability of attacking black-box models. In this work, we propose a novel imperceptible and transferable attack by leveraging both the generative and discriminative power of diffusion models. Specifically, instead of direct manipulation in pixel space, we craft perturbations in the latent space of diffusion models. Combined with well-designed content-preserving structures, we can generate human-insensitive perturbations embedded with semantic clues. For better transferability, we further "deceive" the diffusion model which can be viewed as an implicit recognition surrogate, by distracting its attention away from the target regions. To our knowledge, our proposed method, DiffAttack, is the first that introduces diffusion models into the adversarial attack field. Extensive experiments on various model structures, datasets, and defense methods have demonstrated the superiority of our attack over the existing attack methods.

연구 동기 및 목표

• 시각적으로 눈에 띄는 고주파 노이즈를 생성하는 기존의 Lp-노름 제약 공격의 한계를 해결한다.
• 제한 없는 공격에서 인식 가능성과 이식성 사이의 상충 관계를 극복한다. 이는 종종 블랙박스 모델에서의 강건성 부족을 초래한다.
• 확산 모델의 본질적 특성인 자연스러운 이미지 생성 능력과 암묵적 분류 능력을 활용해 새로운 공격 패러다임을 개발한다.
• 픽셀 공간 최적화에 의존하지 않고도 동시에 이식성 향상과 이미지 콘텐츠 품질 유지를 달성하는 방법을 개발한다.
• 확산 모델이 암묵적 서rogate로 작용하여, 방어 기법이 적용된 모델에도 이식 가능한 적대적 예제를 생성할 수 있음을 입증한다.

제안 방법

• 픽셀 공간이 아닌 사전 학습된 확산 모델(예: DDIM)의 잠재공간에서 적대적 노이즈를 최적화함으로써 더 자연스럽고 인식이 거의 불가능한 노이즈를 가능하게 한다.
• 다중 손실 최적화 프레임워크를 도입하여 다음을 조합한다: (1) 타겟 모델을 오도시키는 공격 손실, (2) 다양한 모델 간 예측을 일치시키는 이식성 손실, (3) 의미적 콘텐츠를 유지하는 구조 보존 손실.
• DDIM 샘플링 중 가이던스 스케일을 적용하여 노이즈 주입 강도를 조절하면서도 이미지의 정밀도를 유지한다.
• 디스틸리케이션 전략을 사용해 확산 모델의 내부 어텐션을 목표 영역에서 산산이 흩트려, 이식성을 향상시킨다.
• 공격 이전에 DDIM 역전환을 수행하여 잠재공간에서 깨끗한 이미지를 재구성함으로써 최소한의 구조적 이탈을 보장한다.
• 확산 모델의 노이즈 제거 과정을 암묵적 방어 수단으로 활용하여, 정제 기반 방어 기법에 대한 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 확산 모델을 적대적 예제 생성을 위한 잠재공간 노이즈의 근원으로 효과적으로 재활용할 수 있는가?
• RQ2 확산 모델의 잠재공간에서 최적화하는 것이 픽셀 공간 공격에 비해 이식성을 향상시키는가?
• RQ3 확산 모델의 생성 능력과 암묵적 분류 능력이 동시에 인식 가능성과 이식성을 향상시키는가?
• RQ4 특히 정제 기반 방어를 사용하는 모델에 대해 제안된 방법은 어떤 성능을 보이는가?
• RQ5 확산 모델의 내부 노이즈 제거 과정이 방어 기법에 대한 강건성에 얼마나 기여하는가?

주요 결과

• DiffAttack는 11개의 표준 모델(서rogate 제외)에서 평균 74.5%의 top-1 공격 성공률를 달성하여, Lp 제약에 의존하는 기준선 방법들을 능가한다.
• FID 점수 69.2를 기록하여 높은 시각적 품질과 인간의 인식 불가능성을 나타내며, 픽셀 기반 공격보다 유의미하게 낮다.
• 방어 모델에 대해서는 평균 68.0%의 공격 성공률를 유지하며, 확산 모델 구성 요소를 제거한 아블레이션의 46.9%를 뛰어넘는다.
• 아블레이션 연구 결과, 이식성 손실을 제거하면 평균 공격 성공률가 66.5%로 감소하여, 이는 교차 모델 일반화에 있어 핵심적인 역할임을 확인한다.
• 가이던스 스케일 2.5가 최적의 성능을 보였다. Inc-v3에서 공격 성공률 62.5%와 FID 69.2를 동시에 확보했으며, 높은 값은 이미지 품질을 떨어뜨렸다.
• 20회의 DDIM 샘플링 단계와 30회의 최적화 반복이 공격 성능, 이미지 품질, 계산 비용 간 최적의 균형을 이룬다.