[論文レビュー] A Resilient and Accessible Distribution-Preserving Watermark for Large Language Models

Yihan Wu, Zhengmian Hu+3 more|arXiv (Cornell University)|Oct 11, 2023

Internet Traffic Analysis and Secure E-voting被引用数 4

ひとこと要約

DiPmarkは、文脈に応じたハッシュ関数と再重み付け戦略を用いて、モデルの出力分布を変更せずに水 Stam を埋め込む分布保存型の水 Stam フレームワークを提案する。この手法により、不正検出の可能性を低減し、効率的かつ耐性のある水 Stam を実現する。API にアクセスせずに 1,000 個の LLaMA-2 プロンプトに対して 90 秒で検出可能であり、テキストの変更が 30% まで行われても高い検出精度（AUC > 0.95）を維持する。

ABSTRACT

Watermarking techniques offer a promising way to identify machine-generated content via embedding covert information into the contents generated from language models. A challenge in the domain lies in preserving the distribution of original generated content after watermarking. Our research extends and improves upon existing watermarking framework, placing emphasis on the importance of a extbf{Di}stribution- extbf{P}reserving (DiP) watermark. Contrary to the current strategies, our proposed DiPmark simultaneously preserves the original token distribution during watermarking (distribution-preserving), is detectable without access to the language model API and prompts (accessible), and is provably robust to moderate changes of tokens (resilient). DiPmark operates by selecting a random set of tokens prior to the generation of a word, then modifying the token distribution through a distribution-preserving reweight function to enhance the probability of these selected tokens during the sampling process. Extensive empirical evaluation on various language models and tasks demonstrates our approach's distribution-preserving property, accessibility, and resilience, making it a effective solution for watermarking tasks that demand impeccable quality preservation.

研究の動機と目的

• モデルの出力分布を保存しつつ、高速な検出が可能で、テキスト編集に対して耐性を持つ水 Stam スキームの不足を補う。
• 既存手法の限界を克服し、モデル品質の低下、API への依存、テキスト編集による失敗を回避する。
• 秘密鍵と水 Stam を埋め込んだテキストのみを用いて、検出可能であり、かつ理論的に分布保存が保証される水 Stam フレームワークを開発する。
• 挿入、削除、置換などの一般的なテキスト操作に対して、性能劣化を伴わず耐性を持つことを保証する。

提案手法

• 秘密鍵と文脈依存のハッシュ関数を用いて、生成時にトークンの確率を再重み付けする戦略を導入し、一意な i.i.d. シャイフルを割り当てる。
• 決定的ハッシュ関数を用いて、各文脈ごとに一意なグリーンリスト（許可トークンリスト）を生成し、異なるプロンプト間で一貫した水 Stam 埋め込みを実現する。
• z スコアを用いた仮説検定を用いて、モデルの重みや API にアクセスせずに、秘密鍵と水 Stam を埋め込んだテキストのみで効率的に水 Stam を検出する。
• グリーンリスト内トークンの出現頻度に基づく統計的検出メカニズムを採用し、最大 30% のトークン変更に対しても理論的耐性を保証する。
• 再重み付けが元の確率分布を著しくシフトさせないよう設計することで、元のモデルの出力分布を保存する。
• テキスト要約や詩の生成などのタスクを用いて、BART-large や LLaMA-2 などの複数の LLM で、品質と検出可能性を評価する。

実験結果

リサーチクエスチョン

• RQ1 LLM が出力するテキストに水 Stam を埋め込む際、元のモデルの出力分布を変更せずに、不正検出の可能性を低くできるか？
• RQ2 モデルの API や重みにアクセスせずに、水 Stam の検出を効率的に行えるか？
• RQ3 挿入、削除、置換などの一般的なテキスト編集に対して、水 Stam はどの程度耐性を示すか？
• RQ4 挿入・削除・置換によるトークン変更が 20–30% 増加する場合、水 Stam の検出性はどの程度維持されるか？
• RQ5 分布保存型水 Stam は、多様な生成タスクにおいて高い検出精度と低い偽陽性率を同時に達成できるか？

主な発見

• DiPmark は、元のモデルとほぼ同一の出力分布を維持しており、グリーントークンの比率が α=0.5 時に 0.9940、α=0.45 時に 0.9940 であり、優れた不正検出の可能性の低さを示している。
• 秘密鍵を用い、API にアクセスせずに LLaMA-2 から生成された 1,000 個の水 Stam を埋め込んだシーケンスの検出にわずか 90 秒で完了し、高い効率性を確認した。
• ランダムな変更（挿入、削除、置換）が 30% まで行われた状況でも、DiPmark は AUC スコアを α=0.45 時に 0.8060、α=0.5 時に 0.8006 を維持し、強い耐性を示した。
• 理想的な条件下では真陽性率が 1.0、偽陽性率が 0.0 であり、変更率が 0.2 以下の範囲では AUC スコアが常に 0.95 を上回った。
• 検出用 z スコアは、変更率が増加するにつれて徐々に低下するが、依然として統計的に有意であり、中程度の編集に対しても耐性があることを確認した。
• 実験的評価では、長めのシーケンス（n=260±5）が検出精度を向上させ、z スコアがシーケンス長に比例して増加する傾向を示し、理論的予測と整合的であった。