[論文レビュー] On Provable Copyright Protection for Generative Models

Nikhil Vyas, Sham M. Kakade+1 more|arXiv (Cornell University)|Feb 21, 2023

Generative Adversarial Networks and Image Synthesis被引用数 21

ひとこと要約

生成モデルの近接アクセスフリー性（NAF）を定義し、著作権で保護されたデータとの類似性を制限する。ブラックボックスアルゴリズムを提示し、ベースライン学習を著作権保護モデルへ変換して証明可能な保証を与える。

ABSTRACT

There is a growing concern that learned conditional generative models may output samples that are substantially similar to some copyrighted data $C$ that was in their training set. We give a formal definition of $\textit{near access-freeness (NAF)}$ and prove bounds on the probability that a model satisfying this definition outputs a sample similar to $C$, even if $C$ is included in its training set. Roughly speaking, a generative model $p$ is $\textit{$k$-NAF}$ if for every potentially copyrighted data $C$, the output of $p$ diverges by at most $k$-bits from the output of a model $q$ that $\textit{did not access $C$ at all}$. We also give generative model learning algorithms, which efficiently modify the original generative model learning algorithm in a black box manner, that output generative models with strong bounds on the probability of sampling protected content. Furthermore, we provide promising experiments for both language (transformers) and image (diffusion) generative models, showing minimal degradation in output quality while ensuring strong protections against sampling protected content.

研究の動機と目的

• 著作権で保護されたデータに関して条件付き生成モデルの近接アクセスフリー性（k-NAF）を正式に定義する。
• パフォーマンスを保ちながら k-NAF 保証を達成するようにベースライン生成モデルの訓練を修正するアルゴリズムを提案する。
• NAF と差分プライバシーの違いを分析し、評価の実用的な影響と指標を議論する。

提案手法

• k-NAF を p(·|x) と safeC(·|x) の各著作権データ C に対する発散の境界として導入する。
• safe(C) は C にアクセスせずに訓練されたモデルを表す。出力と著作権で保護された内容との定量的な類似性チェックを可能にする。
• 二つの主な構成を提示する: (i) leave-one-out-safe (Algorithm 1) と (ii) sharded-safe (Algorithm 2) を用いて実装を実現可能にする。
• 任意の基礎学習アルゴリズム A を選択した発散度測度 Δmax または ΔKL の下で k-NAF を満たす A_k に変換するアルゴリズム (セクション 4) を開発する。
• 発生イベント境界補題を理論的に示し、Δ と k の下で p(·|x) が safeC(·|x) に抑えられることを示す。KL-集中性の拡張。
• deduplication、クラスタリングなどの safe 設計の実用的選択肢と、earthmover、組み合わせ指標などの異なる発散度測度を議論する。

実験結果

リサーチクエスチョン

• RQ1 生成モデルの出力が訓練に使用された著作権で保護されたデータと顕著な類似性を提供しないことを formal に定義・保証するにはどうすればよいか？
• RQ2 ベースライン生成モデル学習をブラックボックスで変換して、控えめなオーバーヘッドで証明可能な著作権保護を達成できるか？
• RQ3 一方向の（NAF）と二方向の（DP）概念はこの著作権保護設定でどう異なり、アルゴリズム設計にどのような影響があるか？
• RQ4 どの発散と実用的な safe-function 構成が、モデル品質を保ちながら有用な k-NAF 保証をもたらすか？
• RQ5 言語モデルと画像モデルにおける CP-k 保護の実証的含意は何か？

主な発見

• formal k-near access-freeness (k-NAF) 定義は、p(·|x) と safe model safeC(·|x) の著作権データ C すべてに対する類似性を制限する。
• sharded-safe および leave-one-out-safe のアルゴリズムは、任意のベース学習アルゴリズムを Δmax または ΔKL に関して k-NAF を達成するものに変換できる。
• Δmax では、イベント境界は p(E|x) ≤ 2^k safeC(E|x) を示し、コピー確率を制限する。
• ΔKL と集中性の仮定では、同様の界は乗法的な要因と加法的な δ まで適用でき、保護保証の柔軟性を提供する。
• sharded-safe は離散データ半分での訓練を要求し、各著作権データ片が最大1つの shard に現れることを保証し、実用的な保証を可能にする。
• 言語モデルと画像モデルの経験的結果は、提案された CP-k フレームワークの下で出力品質の著しい劣化を伴わず、強い保護を示す。