[논문 리뷰] DUAW: Data-free Universal Adversarial Watermark against Stable Diffusion Customization

Xiaoyu Ye, Hao Huang외 2명|arXiv (Cornell University)|2023. 08. 19.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

이 논문은 Stable Diffusion 모델의 커스터마이제이션을 방해하기 위해 미세조정 중 변동형 자동인코더(VAE)를 교란시켜 생성된 이미지에 심각한 시각적 왜곡을 유도하는 데이터 프리 유니버설 적대적 워터마크인 DUAW를 제안한다. 대규모 언어 모델과 사전학습된 SD 모델에서 유도된 합성 이미지로 훈련된 DUAW는 다양한 SD 버전과 커스터마이제이션 방법에서 저작권 침해 이미지를 효과적으로 보호하며, 단순한 분류기로 96.43%의 정확도로 침해 출력을 식별한다.

ABSTRACT

Stable Diffusion (SD) customization approaches enable users to personalize SD model outputs, greatly enhancing the flexibility and diversity of AI art. However, they also allow individuals to plagiarize specific styles or subjects from copyrighted images, which raises significant concerns about potential copyright infringement. To address this issue, we propose an invisible data-free universal adversarial watermark (DUAW), aiming to protect a myriad of copyrighted images from different customization approaches across various versions of SD models. First, DUAW is designed to disrupt the variational autoencoder during SD customization. Second, DUAW operates in a data-free context, where it is trained on synthetic images produced by a Large Language Model (LLM) and a pretrained SD model. This approach circumvents the necessity of directly handling copyrighted images, thereby preserving their confidentiality. Once crafted, DUAW can be imperceptibly integrated into massive copyrighted images, serving as a protective measure by inducing significant distortions in the images generated by customized SD models. Experimental results demonstrate that DUAW can effectively distort the outputs of fine-tuned SD models, rendering them discernible to both human observers and a simple classifier.

연구 동기 및 목표

• 사용자가 저작권 침해 이미지의 주제나 스타일을 복제할 수 있는 Stable Diffusion 커스터마이제이션에 의한 저작권 침해 위험 증가 문제를 해결하기 위해.
• 원본 이미지에 접근할 필요 없이 다양한 저작권 침해 이미지를 보호할 수 있는 유니버설이고 은밀한 워터마크를 개발하기 위해.
• 모델 가중치를 수정하지 않고도 여러 Stable Diffusion 버전과 커스터마이제이션 기법(DreamBooth, LoRA 등)에 걸쳐 강력한 보호를 보장하기 위해.
• 워터마크의 은밀성을 유지하면서도 이미지 전처리 공격 조건에서도 미세조정된 모델 출력에서 최대한의 왜곡을 유도하기 위해.
• LLM과 사전학습된 SD 모델을 활용해 합성 훈련 데이터를 생성함으로써 실제 저작권 이미지의 기밀성을 유지하는 데이터 프리 훈련을 가능하게 하기 위해.

제안 방법

• 워터마크가 적용되었을 때 원본 이미지와 VAE 재구성 이미지 간 유사도를 최소화하는 최적화 기반 적대적 공격을 사용해 DUAW를 훈련한다.
• 워터마크는 미세조정 중 동결된 상태인 VAE의 인코딩 및 디코딩 과정을 교란하도록 최적화되어, 생성 출력에서 일관된 왜곡을 유도한다.
• 합성 훈련 이미지는 대규모 언어 모델(예: ChatGPT)과 사전학습된 Stable Diffusion v2.1 모델을 사용해 생성되며, 실제 저작권 이미지에 접근하지 않고도 데이터 프리 훈련이 가능하다.
• 특정하게 VAE 컴포onent을 타겟으로 하여, 훈련 이미지에서의 미세한 편향이 미세조정된 모델 출력에서 유지되고 증폭됨을 관찰한 바를 활용한다.
• 워터마크는 다양한 이미지에 대해 유니버설하게 적용되며, 기초 VAE, ft-ema, ft-mse 등 다양한 VAE 버전과 SD 모델 버전 간의 전이성에 대해 테스트된다.
• 공통적인 이미지 손상(가우시안 블러, JPEG 압축, 무작위 노이즈) 조건 하에서 강건성을 평가하며, 보호 성공률을 핵심 지표로 보고한다.

실험 결과

연구 질문

• RQ1 실제 저작권 이미지에 접근하지 않고도, 미세조정된 Stable Diffusion 모델의 출력을 왜곡시킬 수 있는 유니버설 적대적 워터마크를 제작할 수 있는가?
• RQ2 Stable Diffusion 커스터마이제이션 중 VAE를 교란시키는 것이 다양한 커스터마이제이션 기법(DreamBooth, LoRA 등)에서 생성된 이미지 품질을 효과적으로 떨어뜨리는가?
• RQ3 LLM가 생성한 합성 이미지를 활용한 데이터 프리 훈련 방식이 이미지 기밀성을 유지하면서도 효과적인 워터마킹을 가능하게 하는가?
• RQ4 JPEG 압축 및 가우시안 블러와 같은 일반적인 이미지 전처리 공격에 대해 워터마크의 강건성은 어느 정도인가?
• RQ5 워터마크는 다양한 VAE 버전과 향후 출시될 Stable Diffusion 모델 버전 간에 얼마나 일반화되는가?

주요 결과

• 단순한 ViT 분류기를 사용해 96.43%의 성공률로 침해 이미지를 식별함으로써, 모델 생성 왜곡을 탐지하는 데 높은 효과성을 입증한다.
• 워터마크는 생성된 이미지에 심각한 시각적 열화를 유도하며, 다양한 프롬프트와 커스터마이제이션 기법에서 인간 관찰자들이 명백한 왜곡을 인지할 수 있다.
• DUAW는 다양한 VAE 버전 간 강력한 전이성(transferability)을 보이며, ft-mse에서 훈련한 경우 기초 VAE에서는 99.05%의 보호 성공률, ft-ema에서는 99.90%를 기록해 광범위한 호환성을 입증한다.
• 가우시안 블러와 JPEG 압축과 같은 일반적인 이미지 손상 조건에서도 워터마크는 강건성을 유지하며, 왜곡 정도는 약간 감소하지만 전반적인 보호 효과는 손상되지 않는다.
• 에프실론 값 0.05에서 DUAW는 높은 은밀성(비유사도 지수 ≈ 0.98)을 유지하면서도 효과적인 왜곡을 유도하여, 미시적 인식 가능성과 보호 기능 사이의 균형을 잘 유지한다.
• SD v2.1과 SD XL 1.0을 포함한 여러 SD 모델 버전에서 일관된 성능을 보이며 효과적이므로, 향후 모델 보호에 잠재적 적용 가능성이 있다.