[论文解读] Catch You Everything Everywhere: Guarding Textual Inversion via Concept Watermarking

Weitao Feng, Jiyan He+5 more|arXiv (Cornell University)|Sep 12, 2023

Advanced Steganography and Watermarking TechniquesComputer Science被引用 3

一句话总结

本文提出针对文本反演（Textual Inversion）的概念水印技术，通过在扩散采样循环内联合训练水印编码器与解码器，将唯一水印嵌入个性化文本到图像的概念中。该方法在各种失真和采样配置下均能实现鲁棒的水印提取，在鲁棒性测试中达到98.0%的成功率和0.3%的误码率（BER），同时保持出色的视觉保真度和可编辑性，适用于实际应用。

ABSTRACT

AIGC (AI-Generated Content) has achieved tremendous success in many applications such as text-to-image tasks, where the model can generate high-quality images with diverse prompts, namely, different descriptions in natural languages. More surprisingly, the emerging personalization techniques even succeed in describing unseen concepts with only a few personal images as references, and there have been some commercial platforms for sharing the valuable personalized concept. However, such an advanced technique also introduces a severe threat, where malicious users can misuse the target concept to generate highly-realistic illegal images. Therefore, it becomes necessary for the platform to trace malicious users and hold them accountable. In this paper, we focus on guarding the most popular lightweight personalization model, ie, Textual Inversion (TI). To achieve it, we propose the novel concept watermarking, where watermark information is embedded into the target concept and then extracted from generated images based on the watermarked concept. Specifically, we jointly train a watermark encoder and a watermark decoder with the sampler in the loop. It shows great resilience to different diffusion sampling processes possibly chosen by malicious users, meanwhile preserving utility for normal use. In practice, the concept owner can upload his concept with different watermarks (ie, serial numbers) to the platform, and the platform allocates different users with different serial numbers for subsequent tracing and forensics.

研究动机与目标

• 为应对AI生成内容日益增长的滥用风险，特别是利用个性化概念进行未经授权的商业使用或制造误导性图像的问题。
• 开发一种水印机制，将可追溯信息直接嵌入文本反演模型的概念嵌入表示中。
• 确保水印在不同扩散采样过程、后期处理失真和自适应攻击下仍保持鲁棒性。
• 在保证原始概念的视觉保真度和文本可编辑性等实用功能的前提下，维持其合法使用价值。
• 通过允许概念所有者上传带有唯一序列号的水印版本，实现用户级别的溯源，支持实际可追溯性。

提出的方法

• 提出一种联合训练框架，水印编码器与解码器在扩散采样器的循环中联合训练，实现端到端的水印嵌入与提取。
• 水印编码器在文本反演训练过程中，通过可学习的标记化表示将序列号信息注入概念嵌入。
• 水印解码器利用相同的概念嵌入从生成图像中提取嵌入信息，实现通过序列号识别实现用户追踪。
• 训练过程引入对比损失，以增强对预处理失真（如高斯噪声、缩放）的鲁棒性。
• 通过多种后期处理失真（如JPEG压缩、模糊、色彩抖动）进行鲁棒性微调，以提升抗干扰能力。
• 采用基于梯度的反向传播并结合多次反向传播步骤（最多3步），以稳定训练并提升水印检测性能。

实验结果

研究问题

• RQ1 能否在文本反演概念中嵌入水印，使其在不同扩散采样过程和后期处理失真下仍可检测？
• RQ2 所提出的方法是否在合法使用场景下保持原始概念的视觉质量和可编辑性？
• RQ3 在尝试移除或伪造水印的自适应攻击下，该水印方案的有效性如何？
• RQ4 架构组件如对比损失和鲁棒性微调对水印抗干扰能力的影响是什么？
• RQ5 该方法能否通过唯一序列号支持可扩展的用户追踪，且不损害性能？

主要发现

• 所提出的概念水印技术在标准条件下实现98.0%的成功率（SR）和0.3%的误码率（BER），表现出高度可靠性。
• 该方法对后期处理失真具有强鲁棒性：在高斯噪声下，BER从无微调时的16.8%降至3.5%；在JPEG压缩下，BER从0.5%降至0.1%。
• 引入对比损失后，在缩放操作下BER从13.7%降至3.5%，在图像平滑处理下从22.3%降至4.3%，显著提升了对预处理失真的抗性。
• 将梯度反向传播步数从1增加到3，BER从13.0%降至0.3%，SR从23.0%升至98.0%，表明更深层次的优化可显著提升检测准确性。
• 在8位水印编码下，该方法实现97.4%的成功率，支持通过序列号分配最多255名唯一用户。
• 消融实验表明，鲁棒性微调与对比损失均对在对抗性及现实世界失真下维持性能至关重要。