[論文レビュー] On the Reliability of Watermarks for Large Language Models

John Kirchenbauer, Jonas Geiping+8 more|arXiv (Cornell University)|Jun 7, 2023

Topic Modeling被引用数 23

ひとこと要約

本論文は、現実的な編集、パラフレーズ、混在文書の下での大規模言語モデルの透かしの頑健性を評価し、より多くのトークンが観測されるにつれて透かし検出が依然として信頼できることを示し、いくつかのシナリオで他の代替検出器よりも優れている。

ABSTRACT

As LLMs become commonplace, machine-generated text has the potential to flood the internet with spam, social media bots, and valueless content. Watermarking is a simple and effective strategy for mitigating such harms by enabling the detection and documentation of LLM-generated text. Yet a crucial question remains: How reliable is watermarking in realistic settings in the wild? There, watermarked text may be modified to suit a user's needs, or entirely rewritten to avoid detection. We study the robustness of watermarked text after it is re-written by humans, paraphrased by a non-watermarked LLM, or mixed into a longer hand-written document. We find that watermarks remain detectable even after human and machine paraphrasing. While these attacks dilute the strength of the watermark, paraphrases are statistically likely to leak n-grams or even longer fragments of the original text, resulting in high-confidence detections when enough tokens are observed. For example, after strong human paraphrasing the watermark is detectable after observing 800 tokens on average, when setting a 1e-5 false positive rate. We also consider a range of new detection schemes that are sensitive to short spans of watermarked text embedded inside a large document, and we compare the robustness of watermarking to other kinds of detectors.

研究の動機と目的

• 長文書へのコピー・ペースト、他者によるパラフレーズ、モデルによるパラフレーズなど、現実的な破損に対する透かしの頑健性を評価する。
• 攻撃によって透かし検出可能性がどのように低下するかを定量化し、観測トークン長の増加に伴う検出可能性のスケーリングを測定する。
• さまざまな攻撃シナリオの下で、透かし検出を事後的および retrieval ベースの検出器と比較する。
• 野外での信頼性を高めるための改良ハッシュ方式と検出戦略を提案・評価する。

提案手法

• 秘密のハッシュ由来のグリーンリストを利用してサンプリングをバイアス付けし、一部のトークンを着色する組み合わせ型透かし方式を説明する。
• 文脈幅 h とさまざまな f マッピング（Additive、Skip、Min）を用いた改良ハッシュ方式（SelfHash および LeftHash）の導入と比較を行い、頑健性を高める。
• 長文書内の高信号区間を特定するウィンドウ検出テスト（WinMax）を開発する。
• パラフレーズ（GPT-3.5-turbo、Dipper）、長文書へのコピー＆ペースト、そして人間のパラフレーズ作者に対する頑健性を、トークン長の異なる領域で評価する。
• 攻撃下での相対的信頼性を評価するため、retrieval-based detection および DetectGPT と比較評価する。

実験結果

リサーチクエスチョン

• RQ1 水印付きテキストがモデルや人間によってパラフレーズまたは書き直された場合、透かし検出はどれだけ頑健か。
• RQ2 透かし付きテキストが長い非透かし文書に埋め込まれるコピー＆ペーストのシナリオでは、透かし検出は信頼性を保てるか。
• RQ3 現実的な攻撃下で、異なるハッシュ方式と文脈幅が透かしの信頼性とテキスト品質にどう影響するか。
• RQ4 さまざまな攻撃タイプの下で、透かしと他の検出器（retrieval-based、post-hoc、DetectGPT）を比較する。
• RQ5 観測トークン数と攻撃下での検出性能の関係はどうなるか。

主な発見

• 人間と機械のパラフレーズ後も透かしは検出可能であり、パラフレーズ攻撃では T=200 で ROC-AUC > 0.85、T=600 で > 0.9。
• 長文書のコピー＆ペーストシナリオで、600トークンの段落に150トークンの透かし付きテキストを含む場合、AUCは0.95を超える。
• 人間のパラフレーズ攻撃では、約800トークンで検出可能になり、偽陽性率は1e-5。
• 透かしは、損失ベースの検出および retrieval 手法と比較して、特に長いシーケンスで、良好なサンプル複雑性と頑健性を示す。
• WinMax ウィンドウ検出は長い文書における透かしの区間の局在化を改善し、検出強度は観測トークン数とともに拡大する。