Skip to main content
Nubint
QUICK REVIEW

[論文レビュー] CPR: Retrieval Augmented Generation for Copyright Protection

Aditya Golatkar, Alessandro Achille|arXiv (Cornell University)|Mar 27, 2024
Digital Rights Management and Security被引用数 4
ひとこと要約

本稿では、検索を用いた生成におけるプライベートデータの検索を可能にしつつ、強力な著作権保護を保証する、拡散モデル向けの新規な検索拡張生成手法CPR（Copy-Protected Generation with Retrieval）を提案する。推論時に学習可能な混合係数を用いて公開モデルとプライベート検索セットの拡散スコアを融合することで、1回のバックワードパスでNear Access Freeness（NAF）を達成し、テキスト対画像の整合性（TIFA: 81.4 → 83.17）を向上させるとともに、取得した画像の記憶を防止する。

ABSTRACT

Retrieval Augmented Generation (RAG) is emerging as a flexible and robust technique to adapt models to private users data without training, to handle credit attribution, and to allow efficient machine unlearning at scale. However, RAG techniques for image generation may lead to parts of the retrieved samples being copied in the model's output. To reduce risks of leaking private information contained in the retrieved set, we introduce Copy-Protected generation with Retrieval (CPR), a new method for RAG with strong copyright protection guarantees in a mixed-private setting for diffusion models.CPR allows to condition the output of diffusion models on a set of retrieved images, while also guaranteeing that unique identifiable information about those example is not exposed in the generated outputs. In particular, it does so by sampling from a mixture of public (safe) distribution and private (user) distribution by merging their diffusion scores at inference. We prove that CPR satisfies Near Access Freeness (NAF) which bounds the amount of information an attacker may be able to extract from the generated images. We provide two algorithms for copyright protection, CPR-KL and CPR-Choose. Unlike previously proposed rejection-sampling-based NAF methods, our methods enable efficient copyright-protected sampling with a single run of backward diffusion. We show that our method can be applied to any pre-trained conditional diffusion model, such as Stable Diffusion or unCLIP. In particular, we empirically show that applying CPR on top of unCLIP improves quality and text-to-image alignment of the generated results (81.4 to 83.17 on TIFA benchmark), while enabling credit attribution, copy-right protection, and deterministic, constant time, unlearning.

研究の動機と目的

  • 検索拡張生成（RAG）における拡散モデルの文脈で、生成出力が取得した画像からの固有の特徴を複製するリスクに対処すること。
  • Near Access Freeness（NAF）のプライバシー概念を用いて、混合プライベート環境下で強力かつ調整可能な著作権保護の保証を提供すること。
  • 再トレーニングを伴わず、決定的かつ定数時間でプライベートデータのアンラーニングを実現すること。
  • 単一のバックワードパスでの推論のみを用いて、プライバシーを保ちつつ、テキスト対画像の整合性と生成品質を向上させること。

提案手法

  • CPRは、推論時に事前学習済みの公開モデルの拡散スコアと、プライベート検索セットの拡散スコアを、学習可能な混合係数を用いて融合する。
  • 式8で定義される、公開スコアとプライベートスコアの重み付き組み合わせを用いて、プロンプトのコンセプトを保持しつつ、取得した画像からの固有特徴の複製を回避する。
  • CPR-KLおよびCPR-Chooseの2つのアルゴリズムを導入し、両者とも構成上NAFを満たすように設計されており、高コストな拒否サンプリングを回避する。
  • CPRは、取得したサンプルについて、最大で$k$ビットの固有情報が生成出力に含まれることを保証する。ここで$k$はユーザーが調整可能なパラメータである。
  • Stable Diffusion や unCLIP などの任意の事前学習済み条件付き拡散モデルと互換性があり、ファインチューニングなしで動作する。
  • 単にプライベートデータを検索ストアから削除するだけで、決定的かつ定数時間でアンラーニングが可能になる。
Figure 1 : RAG vs CPR image generation. Images generated using the given prompt for a fixed random seed using different methods. Safe Model : Pre-trained model with no access to the retrievable data store, Retrieval-Score : Image generated using Eq. 7 , Retrieval-Mix-Score : Image generated using Eq
Figure 1 : RAG vs CPR image generation. Images generated using the given prompt for a fixed random seed using different methods. Safe Model : Pre-trained model with no access to the retrievable data store, Retrieval-Score : Image generated using Eq. 7 , Retrieval-Mix-Score : Image generated using Eq

実験結果

リサーチクエスチョン

  • RQ1RAGベースの画像生成は、取得したプライベート画像からの固有情報が出力に漏洩しないように、証明可能なプライバシーを達成できるか？
  • RQ2拒否サンプリングを避けて、単一パス推論が可能な効率的な著作権保護が実現可能か？
  • RQ3プライベートデータを用いて生成品質とテキスト対画像の整合性を向上させつつ、アンラーニングとクレジット付与を保証できるか？
  • RQ4提案手法は、先行のNAFベースの手法と比較して、プライバシーと有用性のトレードオフおよび計算コストの面でどのように優れているか？

主な発見

  • CPRをunCLIPモデルに適用した結果、TIFAベンチマーク上でのテキスト対画像の整合性が81.4から83.17に向上し、プライバシーを保ちつつ生成品質が向上することを実証した。
  • ユーザーが調整可能なパラメータ$k$によって制御される情報漏洩量の上限を保証する、Near Access Freeness（NAF）による強力なプライバシー保証を達成した。
  • CP-Δ や CP-K といった、拒否サンプリングに依存する先行手法と比較して、CPRは速度と効率の両面で優れており、同等のプライバシー水準下で推論時間を5〜10倍短縮した。
  • CLIPスコア分析の結果、CPRが生成する画像は取得した画像とは顕著に類似せず、入力プロンプトとより高い整合性を示しており、記憶の低減が確認された。
  • 単に検索ストアからプライベートデータを削除するだけで、決定的かつ定数時間でアンラーニングが可能である。
  • Stable Diffusion や unCLIP といった既存の事前学習済みモデルと互換性があり、アーキテクチャの変更やファインチューニングを一切必要としない。
Figure 2 : (A) We plot the histogram of $\Delta_{\text{max}}=\log\dfrac{p(x|c)}{\operatorname{safe}(x|c)}$ as we vary the contribution of the retrieval-score ( $\hat{w_{1}}$ in Eq. 8 ). We use $\hat{w_{1}}$ as a user tunable parameter which controls the amount of bits the generated images are differ
Figure 2 : (A) We plot the histogram of $\Delta_{\text{max}}=\log\dfrac{p(x|c)}{\operatorname{safe}(x|c)}$ as we vary the contribution of the retrieval-score ( $\hat{w_{1}}$ in Eq. 8 ). We use $\hat{w_{1}}$ as a user tunable parameter which controls the amount of bits the generated images are differ

より良い研究を、今すぐ始めましょう

論文の読解から最終レビューまで、研究時間を劇的に削減しましょう。

クレジットカード登録不要

このレビューはAIが作成し、人間の編集者が確認しました。