[论文解读] FT-Shield: A Watermark Against Unauthorized Fine-tuning in Text-to-Image Diffusion Models

Yingqian Cui, Jie Ren+8 more|arXiv (Cornell University)|Oct 3, 2023

Generative Adversarial Networks and Image SynthesisComputer Science被引用 3

一句话总结

FT-Shield 是一种新颖的水印框架，通过在文生图扩散模型的训练图像中嵌入水印，以检测未经授权的微调。通过将扩散模型的训练损失整合到水印生成目标中，FT-Shield 确保水印在微调的早期阶段即可迅速被模型吸收，从而即使在水印学习之前已发生风格迁移，也能实现可靠检测，其检测准确率和鲁棒性优于现有方法。

ABSTRACT

Text-to-image generative models, especially those based on latent diffusion models (LDMs), have demonstrated outstanding ability in generating high-quality and high-resolution images from textual prompts. With this advancement, various fine-tuning methods have been developed to personalize text-to-image models for specific applications such as artistic style adaptation and human face transfer. However, such advancements have raised copyright concerns, especially when the data are used for personalization without authorization. For example, a malicious user can employ fine-tuning techniques to replicate the style of an artist without consent. In light of this concern, we propose FT-Shield, a watermarking solution tailored for the fine-tuning of text-to-image diffusion models. FT-Shield addresses copyright protection challenges by designing new watermark generation and detection strategies. In particular, it introduces an innovative algorithm for watermark generation. It ensures the seamless transfer of watermarks from training images to generated outputs, facilitating the identification of copyrighted material use. To tackle the variability in fine-tuning methods and their impact on watermark detection, FT-Shield integrates a Mixture of Experts (MoE) approach for watermark detection. Comprehensive experiments validate the effectiveness of our proposed FT-Shield.

研究动机与目标

• 为应对使用受版权保护图像进行未经授权模型微调（尤其是风格模仿或人脸生成）的日益增长的担忧。
• 开发一种水印方法，在保护数据合法使用的同时，实现侵权行为的检测。
• 克服现有水印技术需要大量微调步骤才能实现水印吸收的局限性。
• 确保扩散模型在学习视觉风格之前优先学习水印信号，从而在完整风格迁移前即可实现检测。

提出的方法

• 提出一种新颖的水印生成算法，将扩散模型的训练损失整合到水印目标中，确保水印在微调过程中实现快速吸收。
• 设计一个基于微调模型生成图像的二值水印检测器，用于检测输出图像中水印的存在。
• 通过从微调模型生成合成图像，在检测器训练中应用数据增强，以提升检测器的泛化能力和鲁棒性。
• 采用可微的、不可察觉的扰动策略，将水印嵌入训练图像，同时保持图像质量。
• 优化水印生成过程，优先考虑模型对水印信号的学习而非视觉保真度，以确保早期检测。
• 在多种微调技术（DreamBooth、Textual Inversion、LoRA）及各类图像退化条件下评估该方法的鲁棒性。

Figure 1: Generated images from fine-funed text-to-image models: a comparison of watermarking methods at different fine-tuning steps.

实验结果

研究问题

• RQ1 即使模型尚未完全学习受保护数据的视觉风格，是否仍能在生成图像中检测到水印？
• RQ2 在微调步骤有限的情况下，FT-Shield 的水印检测性能与现有水印方法相比如何？
• RQ3 水印率（训练数据中受保护图像的百分比）对检测准确率有何影响？
• RQ4 水印检测器对 JPEG 压缩和高斯噪声等常见图像退化是否具有鲁棒性？
• RQ5 在检测器训练中使用数据增强是否显著提升检测性能？

主要发现

• 在使用 DreamBooth 时，FT-Shield 在 100% 水印率下实现了 99.66% 的水印检测率，显著优于基线方法。
• 即使在 25% 的低水印率下，FT-Shield 在除 LoRA 外的所有微调方法中检测率仍保持在 80% 以上，展现出对稀疏保护的强鲁棒性。
• 在 80% 水印率下，FT-Shield 对所有方法的检测率均超过 95%，而基线方法在相同条件下均低于 80%。
• 使用数据增强训练的水印检测器在 JPEG 压缩和高斯噪声下检测准确率超过 99%，而非增强版本则降至 70% 以下。
• 对于 LoRA 微调，FT-Shield 在 100% 水印率下保持 97.49% 的检测率，优于次佳基线方法超过 10 个百分点。
• 未使用数据增强的检测器性能显著下降，多数方法的真阳性率（TPR）低于 55%，证明了增强训练数据的必要性。

Figure 2: An overview of the two-stage watermarking protection process