[논문 리뷰] Unlearnable Examples for Diffusion Models: Protect Data from Unauthorized Exploitation

Zhengyue Zhao, Jinhao Duan외 7명|arXiv (Cornell University)|2023. 06. 02.

Generative Adversarial Networks and Image Synthesis인용 수 7

한 줄 요약

이 논문은 Unlearnable Diffusion Perturbation (UDP)와 Enhanced UDP (EUDP)를 도입하여 이미지에 감지하기 어려운 노이즈를 추가하고, 이를 통해 고품질 확산 모델 훈련에 사용할 수 없게 만든다; 이 방법은 이중 최적화(바이레벨 max-min)로 형식화되며 DDPM과 LDM에서 검증된다.

ABSTRACT

Diffusion models have demonstrated remarkable performance in image generation tasks, paving the way for powerful AIGC applications. However, these widely-used generative models can also raise security and privacy concerns, such as copyright infringement, and sensitive data leakage. To tackle these issues, we propose a method, Unlearnable Diffusion Perturbation, to safeguard images from unauthorized exploitation. Our approach involves designing an algorithm to generate sample-wise perturbation noise for each image to be protected. This imperceptible protective noise makes the data almost unlearnable for diffusion models, i.e., diffusion models trained or fine-tuned on the protected data cannot generate high-quality and diverse images related to the protected training data. Theoretically, we frame this as a max-min optimization problem and introduce EUDP, a noise scheduler-based method to enhance the effectiveness of the protective noise. We evaluate our methods on both Denoising Diffusion Probabilistic Model and Latent Diffusion Models, demonstrating that training diffusion models on the protected data lead to a significant reduction in the quality of the generated images. Especially, the experimental results on Stable Diffusion demonstrate that our method effectively safeguards images from being used to train Diffusion Models in various tasks, such as training specific objects and styles. This achievement holds significant importance in real-world scenarios, as it contributes to the protection of privacy and copyright against AI-generated content.

연구 동기 및 목표

• 무단 확산 모델 학습 및 미세 조정으로부터 데이터 프라이버시와 저작권 보호를 고무한다.
• 확산 모델을 위한 학습 불가능한 예시를 생성하는 독성(포이즌) 공격을 제안한다.
• 노이즈가 눈에 띄지 않도록 한계를 두고, 이를 이중 최적화(바이레벨 max-min)로 표현한다.
• 무조건적 생성, 텍스트-투-이미지, 스타일 변환 등의 작업에서 DDPM과 잠재 확산 모델에 걸쳐 효과를 입증한다.

제안 방법

• 보호용 노이즈를 학습 이미지에 추가되는 제한된 섭동으로 정의한다.
• 확산 모델 손실을 최소화하는 제약 하에 보호용 노이즈를 최대화하는 이중 최적화(바이레벨 max-min)를 형식화한다.
• 훈련 중 크로스 엔트로피를 최대화하도록 UDP를 도출한다(VLB/ELBO를 근사로 사용).
• 보호 강화를 위해 확산 스케줄 요소와 연관된 분포에 따라 타임스텝 t를 샘플링하여 강화된 UDP(EUDP)를 도입한다.
• 모델 매개변수와 섭동에 대한 반복 업데이트 규칙(교대 최적화)을 제공한다.
• 타임스텝의 중요도 및 노이즈 감소를 선택적으로 분석하여 섭동 전략을 정교화한다.

실험 결과

연구 질문

• RQ1 눈에 띄지 않는 보호용 노이즈가 보호된 데이터에서 확산 모델이 고품질 표현을 학습하는 것을 방지할 수 있는가?
• RQ2 UDP와 EUDP가 훈련 및 미세 조정 중 DDPM과 잠재 확산 모델에 어떤 영향을 미치는가?
• RQ3 클래스별 보호를 통해 특정 객체나 스타일을 보호하는 것이 관련 모델에 전이되거나 생존하는가?

주요 결과

• UDP는 보호된 데이터로 확산 모델을 학습시킬 때 생성된 이미지의 품질과 다양성을 크게 저하시킨다(예: FID 증가, 정밀도/재현율 감소).
• EUDP는 확산 타임스텝의 역학을 이용해 UDP를 넘어 생성 이미지 품질을 저하시킨다.
• 일부 부분이나 특정 클래스/스타일을 보호하는 것이 보호된 카테고리의 고품질 생성은 억제하고 다른 카테고리는 비교적 영향받지 않도록 할 수 있다.
• CIFAR-10에서 DDPM, WikiArt/DreamBooth/Textual Inversion에서 LDM으로의 실험은 보호 노이즈가 객체-및 스타일 특정 생성을 방해함을 보이고, 전이 가능성 실험은 비슷한 모델 간에 일부 로버스트함을 시사한다.