[논문 리뷰] VillanDiffusion: A Unified Backdoor Attack Framework for Diffusion Models

Sheng-Yen Chou, Pin‐Yu Chen외 1명|arXiv (Cornell University)|2023. 06. 12.

Generative Adversarial Networks and Image Synthesis인용 수 5

한 줄 요약

VillanDiffusion는 노이즈 제거 기반 및 스코어 기반 확산 모델을 포함하여, 훈련 불필요 샘플러(예: DPM-Solver, DEIS)와 무조건적 및 조건부(텍스트-이미지) 생성 방식을 포괄하는 통합 백도어 공격 프레임워크이다. 이 프레임워크는 샘플러를 수정하지 않고도 이미지 또는 텍스트 기반 트리거를 통해 효과적인 백도어 공격를 가능하게 하며, 수정되지 않은 텍스트 인코더도 프롬프트 공간 백도어를 통해 악용될 수 있음을 입증한다. 다양한 모델 구성에서 높은 성공률를 보이며, 추론 시기 방어 기법을 회피하는 데에도 성공한다.

ABSTRACT

Diffusion Models (DMs) are state-of-the-art generative models that learn a reversible corruption process from iterative noise addition and denoising. They are the backbone of many generative AI applications, such as text-to-image conditional generation. However, recent studies have shown that basic unconditional DMs (e.g., DDPM and DDIM) are vulnerable to backdoor injection, a type of output manipulation attack triggered by a maliciously embedded pattern at model input. This paper presents a unified backdoor attack framework (VillanDiffusion) to expand the current scope of backdoor analysis for DMs. Our framework covers mainstream unconditional and conditional DMs (denoising-based and score-based) and various training-free samplers for holistic evaluations. Experiments show that our unified framework facilitates the backdoor analysis of different DM configurations and provides new insights into caption-based backdoor attacks on DMs. Our code is available on GitHub: \url{https://github.com/IBM/villandiffusion}

연구 동기 및 목표

• 기존 연구가 다루지 못한 확산 모델에 대한 백도어 공격의 격차를 보완하여, 이전 연구보다 더 넓은 범위의 아키텍처와 추론 방법을 포함하고자 한다.
• 텍스트 인코더를 수정하지 않은 상태에서도 프롬프트 공간에 트리거를 삽입함으로써, 텍스트-이미지 모델에서 백도어 공격가 효과적임을 입증하고자 한다.
• 최신 샘플러와 모델 유형을 포함하는 새로운 공격 환경에서, 기존 방어 기법(예: 추론 시 클리핑)의 강건성을 평가하고자 한다.
• 주류의 무조건적 및 조건부 확산 모델과 그 추론 파이프라인을 포괄하는 통합된 백도어 분석 프레임워크를 제공하고자 한다.

제안 방법

• 프레임워크는 스케줄러(콘텐츠 및 노이즈), 샘플러(SDE 및 ODE 변종), 생성 유형(조건부/무조건적)에 따라 확산 모델을 분류함으로써 체계적인 공격 커버리지를 가능하게 한다.
• 생성 샘플링을 위한 역시간 SDE 및 ODE를 수립하며, ODE에서 계수 1/2가 기존 방법(예: BadDiffusion)이 ODE 샘플러에서 실패하게 하는 원인임을 규명한다.
• 모델이나 샘플러를 수정하지 않고도 입력 수준의 편향을 통해 백도어 트리거를 적용한다. 무조건적 생성에는 이미지 기반, 텍스트-이미지 모델에는 캡션 기반 트리거를 사용한다.
• 노이즈 제거 기반 모델(예: DDPM)과 스코어 기반 모델(예: NCSN)을 모두 지원하여, 다양한 훈련 철학에 걸쳐 통합된 백도어 주입을 가능하게 한다.
• 훈련 불필요이며, 시장에 유통되는 샘플러와 호환되도록 설계되어 실제 도입에 실용성을 확보한다.
• 다양한 샘플링 스케줄과 노이즈 수준에서 공격 효과성을 유지하기 위해 스코어 함수 업데이트에 보정 항목을 도입한다.

실험 결과

연구 질문

• RQ1 다양한 스케줄러와 노이즈 수준을 가진 노이즈 제거 기반 및 스코어 기반 확산 모델 간에 백도어 공격가 일반화 가능한가?
• RQ2 DPM-Solver, DEIS, UniPC와 같은 고급 훈련 불필요 샘플러에서 백도어 공격는 얼마나 효과적인가?
• RQ3 텍스트 인코더가 수정되지 않은 상태에서도 텍스트-이미지 확산 모델이 프롬프트 공간을 통해 백도어화될 수 있는가?
• RQ4 추론 시 클리핑 방어 기법은 현대적이고 다양한 확산 모델 구성에서 백도어 공격에 대해 여전히 효과적인가?
• RQ5 다양한 노이즈 스케줄과 샘플링 방법은 백도어 공격 성공률와 은폐성에 어떤 영향을 미치는가?

주요 결과

• 다양한 샘플러와 트리거에서 SSIM 값이 0.999 이상을 기록하여 근사적으로 완벽한 공격 성공률를 달성하며, 높은 품질의 백도어 생성 결과를 보였다.
• CIFAR-10에서 정지 신호 트리거를 사용한 결과, VillanDiffusion는 DDIM에서 20% 오염 비율일 때 FID를 26.62(기존 BadDiffusion 기준)에서 18.16으로 감소시키며 공격 효율성이 뛰어나다. 50% 오염 비율일 경우 FID는 18.88로 유지된다.
• 추론 시 클리핑 방어 기법을 성공적으로 우회하였으며, 트리거가 프롬프트 공간에 삽입되거나 ODE 샘플러를 사용할 경우 이 방어 기법이 공격를 완화하지 못함을 입증하였다.
• 텍스트-이미지 모델의 경우, 텍스트 인코더가 동결된 상태에서도 높은 공격 성공률(SIM > 0.99)을 기록하여, 프롬프트 공간 백도어가 매우 효과적임을 입증하였다.
• DPM-Solver, DEIS, UniPC와 같은 다양한 샘플러에서 일관된 성능을 보였으며, 대부분의 구성에서 MSE 값은 5e-4 이하, SSIM 값은 0.99 초과를 기록하였다.
• 고수준의 난수성(η=1.0) 조건에서도 BadDiffusion가 실패하는 상황에서 VillanDiffusion는 공격가 유지됨을 통해, 스토케스틱 샘플링 변동에 대한 더 높은 강건성을 입증하였다.