[논문 리뷰] FT-Shield: A Watermark Against Unauthorized Fine-tuning in Text-to-Image Diffusion Models

Yingqian Cui, Jie Ren외 8명|arXiv (Cornell University)|2023. 10. 03.

Generative Adversarial Networks and Image SynthesisComputer Science인용 수 3

한 줄 요약

FT-Shield는 텍스트-이미지 확산 모델의 학습 이미지에 워터마크를 통합하여 무단 파생 학습을 탐지하는 새로운 워터마킹 프레임워크이다. 확산 모델의 학습 손실을 워터마크 생성 목표에 통합함으로써, FT-Shield는 워터마크가 초기 파생 학습 단계에서 빠르게 통합되도록 보장하여, 워터마크 학습 이전에 스타일 전이가 발생하더라도 신뢰할 수 있는 탐지를 가능하게 한다. 이는 탐지 정확도와 내구성 면에서 기존 방법을 능가한다.

ABSTRACT

Text-to-image generative models, especially those based on latent diffusion models (LDMs), have demonstrated outstanding ability in generating high-quality and high-resolution images from textual prompts. With this advancement, various fine-tuning methods have been developed to personalize text-to-image models for specific applications such as artistic style adaptation and human face transfer. However, such advancements have raised copyright concerns, especially when the data are used for personalization without authorization. For example, a malicious user can employ fine-tuning techniques to replicate the style of an artist without consent. In light of this concern, we propose FT-Shield, a watermarking solution tailored for the fine-tuning of text-to-image diffusion models. FT-Shield addresses copyright protection challenges by designing new watermark generation and detection strategies. In particular, it introduces an innovative algorithm for watermark generation. It ensures the seamless transfer of watermarks from training images to generated outputs, facilitating the identification of copyrighted material use. To tackle the variability in fine-tuning methods and their impact on watermark detection, FT-Shield integrates a Mixture of Experts (MoE) approach for watermark detection. Comprehensive experiments validate the effectiveness of our proposed FT-Shield.

연구 동기 및 목표

• 저작권 침해 이미지를 사용한 무단 모델 파생 학습 문제의 증가를 다루기 위해, 특히 스타일 모방이나 얼굴 합성에 초점을 맞춘다.
• 보호된 데이터의 정당한 사용을 유지하면서도 침해를 탐지할 수 있는 워터마킹 방법을 개발한다.
• 기존 워터마킹 기법이 워터마크 통합을 위해 광범위한 파생 학습 단계가 필요하다는 한계를 극복한다.
• 확산 모델이 비주얼 스타일을 학습하기 이전에 워터마크를 학습하도록 보장하여, 완전한 스타일 전이 이전에도 탐지를 가능하게 한다.

제안 방법

• 확산 모델의 학습 손실을 워터마크 목표에 통합하여, 파생 학습 동안 빠른 통합을 보장하는 새로운 워터마킹 생성 알고리즘을 도입한다.
• 파생 학습된 모델에서 생성된 이미지에 기반해 훈련된 이진 워터마크 탐지기 알고리즘을 설계하여 출력 이미지 내 워터마크 존재 여부를 탐지한다.
• 모델의 일반화 및 내구성을 향상시키기 위해, 파생 학습된 모델에서 합성 이미지를 생성하여 탐지기 훈련 시 데이터 증강을 적용한다.
• 이미지 품질을 유지하면서 워터마크를 통합하기 위해, 미분 가능하고 눈에 띄지 않는 변형 전략을 사용하여 학습 이미지에 워터마크를 적용한다.
• 모델이 시각적 정확도보다 워터마크 신호를 우선적으로 학습하도록 워터마크 생성 과정을 최적화하여 조기에 탐지 가능성을 확보한다.
• 다양한 파생 학습 기법(DreamBooth, Textual Inversion, LoRA)과 다양한 이미지 손상 조건 하에서의 성능 평가를 통해 내구성을 테스트한다.

Figure 1: Generated images from fine-funed text-to-image models: a comparison of watermarking methods at different fine-tuning steps.

실험 결과

연구 질문

• RQ1 보호된 데이터의 비주얼 스타일을 아직 완전히 학습하지 않은 상태에서도 생성된 이미지 내 워터마크를 탐지할 수 있는가?
• RQ2 제한된 파생 학습 단계에서 FT-Shield의 워터마크 탐지 성능은 기존 워터마킹 방법과 비교해 어떻게 다른가?
• RQ3 워터마크 비율(학습 데이터 내 보호된 이미지의 백분율)이 탐지 정확도에 미치는 영향은 무엇인가?
• RQ4 JPEG 압축 및 가우시안 노이즈와 같은 일반적인 이미지 손상에 대해 워터마크 탐지기가 얼마나 내구성이 있는가?
• RQ5 탐지기 훈련 시 데이터 증강이 탐지 성능에 상당한 영향을 미치는가?

주요 결과

• DreamBooth를 사용할 경우 100% 워터마크 비율로 FT-Shield는 99.66%의 워터마크 탐지율을 기록하며 기준 방법을 크게 앞서간다.
• 낮은 워터마크 비율 25% 조건에서도 FT-Shield는 LoRA를 제외한 모든 파생 학습 방법에서 80% 이상의 탐지율을 유지하여 희박한 보호 조건에서도 강력한 내구성을 입증한다.
• 80% 워터마크 비율 조건에서 FT-Shield는 모든 방법에서 95% 이상의 탐지율을 기록했고, 기준 방법은 동일 조건에서 80% 이하로 떨어졌다.
• 데이터 증강을 적용한 탐지기는 JPEG 압축 및 가우시안 노이즈 조건에서 99% 이상의 탐지 정확도를 기록했고, 증강 없이 훈련된 버전은 70% 이하로 급격히 떨어졌다.
• LoRA 파생 학습 조건에서 FT-Shield는 100% 워터마크 비율로 97.49%의 탐지율을 기록하며, 다음으로 우수한 기준 방법보다 10个百分点 이상 높은 성능을 보였다.
• 데이터 증강 없이 훈련된 탐지기의 성능은 크게 저하되었으며, 대부분의 방법에서 TPR이 55% 이하로 떨어져 증강된 훈련 데이터의 필수성을 입증했다.

Figure 2: An overview of the two-stage watermarking protection process