[论文解读] CPR: Retrieval Augmented Generation for Copyright Protection

Aditya Golatkar, Alessandro Achille+4 more|arXiv (Cornell University)|Mar 27, 2024

Digital Rights Management and Security被引用 4

一句话总结

本文提出CPR（带检索的复制保护生成），一种用于扩散模型的新型检索增强生成方法，可在确保强版权保护的同时实现私有数据的检索。通过在推理时以可学习混合方式融合公共和私有扩散得分函数，CPR仅需一次反向传播即可实现近似访问自由（NAF），提升了文本到图像对齐度（TIFA：81.4 → 83.17），并防止检索图像的特征被记忆。

ABSTRACT

Retrieval Augmented Generation (RAG) is emerging as a flexible and robust technique to adapt models to private users data without training, to handle credit attribution, and to allow efficient machine unlearning at scale. However, RAG techniques for image generation may lead to parts of the retrieved samples being copied in the model's output. To reduce risks of leaking private information contained in the retrieved set, we introduce Copy-Protected generation with Retrieval (CPR), a new method for RAG with strong copyright protection guarantees in a mixed-private setting for diffusion models.CPR allows to condition the output of diffusion models on a set of retrieved images, while also guaranteeing that unique identifiable information about those example is not exposed in the generated outputs. In particular, it does so by sampling from a mixture of public (safe) distribution and private (user) distribution by merging their diffusion scores at inference. We prove that CPR satisfies Near Access Freeness (NAF) which bounds the amount of information an attacker may be able to extract from the generated images. We provide two algorithms for copyright protection, CPR-KL and CPR-Choose. Unlike previously proposed rejection-sampling-based NAF methods, our methods enable efficient copyright-protected sampling with a single run of backward diffusion. We show that our method can be applied to any pre-trained conditional diffusion model, such as Stable Diffusion or unCLIP. In particular, we empirically show that applying CPR on top of unCLIP improves quality and text-to-image alignment of the generated results (81.4 to 83.17 on TIFA benchmark), while enabling credit attribution, copy-right protection, and deterministic, constant time, unlearning.

研究动机与目标

• 解决在扩散模型的检索增强生成（RAG）中因生成输出可能复制检索图像中独特特征而引发的私有数据泄露风险。
• 在混合私有环境中，利用近似访问自由（NAF）隐私概念，提供强大且可调节的版权保护保证。
• 在无需微调的情况下，实现高效、确定性且常数时间的私有数据遗忘。
• 在仅使用一次反向传播进行推理的前提下，提升文本到图像对齐度与生成质量，同时保障隐私。

提出的方法

• CPR在推理时通过可学习混合方式结合预训练公共模型的扩散得分与私有检索集的扩散得分。
• 其采用公共与私有得分的加权组合，如公式(8)所定义，以生成保留提示概念但避免复制检索图像中独特特征的样本。
• 该方法提出两种算法：CPR-KL与CPR-Choose，两者均通过设计满足NAF，避免昂贵的拒绝采样。
• CPR确保生成输出中关于任一检索样本的唯一信息不超过$k$比特，其中$k$由用户调节。
• 该方法兼容任意预训练的条件扩散模型（如Stable Diffusion或unCLIP），且无需微调即可运行。
• 通过简单地从检索存储中移除私有数据，即可实现确定性、常数时间的遗忘。

Figure 1 : RAG vs CPR image generation. Images generated using the given prompt for a fixed random seed using different methods. Safe Model : Pre-trained model with no access to the retrievable data store, Retrieval-Score : Image generated using Eq. 7 , Retrieval-Mix-Score : Image generated using Eq

实验结果

研究问题

• RQ1 能否使基于RAG的图像生成在理论上具备隐私性，确保检索的私有图像中不泄露任何唯一信息到输出中？
• RQ2 能否在无需拒绝采样的前提下高效实现版权保护，从而支持单次遍历推理？
• RQ3 能否在确保遗忘与信用归属的前提下，利用私有数据提升生成质量与文本到图像对齐度？
• RQ4 与先前基于NAF的方法相比，所提出方法在隐私-效用权衡与计算成本方面表现如何？

主要发现

• 当应用于unCLIP模型时，CPR在TIFA基准上的文本到图像对齐度从81.4提升至83.17，证明了在保障隐私的同时提升了生成质量。
• 该方法通过近似访问自由（NAF）实现强隐私保障，泄露信息量受用户可调节参数$k$的约束。
• CPR在速度与效率上均优于先前基于拒绝采样的NAF方法（如CP-Δ与CP-K），在同等隐私水平下将推理时间缩短5–10倍。
• CLIP得分分析表明，CPR生成的图像与检索图像的相似度显著降低，但与输入文本提示的对齐度更高，证实了记忆效应的减少。
• CPR通过简单地从检索存储中移除私有数据，即可实现确定性、常数时间的遗忘，无需模型微调。
• 该方法兼容现有预训练模型（如Stable Diffusion与unCLIP），无需架构修改或微调。

Figure 2 : (A) We plot the histogram of $\Delta_{\text{max}}=\log\dfrac{p(x|c)}{\operatorname{safe}(x|c)}$ as we vary the contribution of the retrieval-score ( $\hat{w_{1}}$ in Eq. 8 ). We use $\hat{w_{1}}$ as a user tunable parameter which controls the amount of bits the generated images are differ