[論文レビュー] A Watermark for Large Language Models

John Kirchenbauer, Jonas Geiping+4 more|arXiv (Cornell University)|Jan 24, 2023

Topic Modeling被引用数 113

ひとこと要約

この論文は、短いテキストスパンからモデルアクセスなしで検出可能な確率的ウォーターマーキングフレームワークを提案し、グリーン/レッドトークン scheme と統計検定を用いて、頑健性と文本品質への影響を分析する。

ABSTRACT

Potential harms of large language models can be mitigated by watermarking model output, i.e., embedding signals into generated text that are invisible to humans but algorithmically detectable from a short span of tokens. We propose a watermarking framework for proprietary language models. The watermark can be embedded with negligible impact on text quality, and can be detected using an efficient open-source algorithm without access to the language model API or parameters. The watermark works by selecting a randomized set of "green" tokens before a word is generated, and then softly promoting use of green tokens during sampling. We propose a statistical test for detecting the watermark with interpretable p-values, and derive an information-theoretic framework for analyzing the sensitivity of the watermark. We test the watermark using a multi-billion parameter model from the Open Pretrained Transformer (OPT) family, and discuss robustness and security.

研究の動機と目的

• マークなしのAI生成テキストによる害の動機付けと、検出可能な検出可能性の必要性。
• モデルアクセスや再訓練を必要としないウォーターマークフレームワークを紹介。
• ウォーターマークの存在を解釈可能なp値で検出する統計的方法を開発。
• ウォーターマークの情報理論的感度と攻撃に対する頑健性を分析。

提案手法

• グリーン/レッドトークンの分割を定義し、ハード（Algorithm 1）またはソフト（Algorithm 2）ウォーターマーク規則を適用。
• 前のトークンのハッシュで分割をシードし、モデルアクセスなしで規則を再現。
• ソフトの場合はグリーントークン集合の方へサンプリング分布を偏らせる、ハードの場合はレッドトークンを禁止。
• テキスト窓内のグリーントークン数を用いた1つの比例のz検定でウォーターマークを検出（H0: なしウォーターマーク）。
• PRFを用いた秘密ウォーターマークの派生案を提供し、規則を隠蔽し攻撃耐性とAPI考慮を議論。
• 理論的分析はスパイクエントロピーと導出境界（定理4.2、4.3）を介して検出力をウォーターマークパラメータに結びつける。

実験結果

リサーチクエスチョン

• RQ1 モデルアクセスや再訓練なしにLLM出力にウォーターマークを埋め込み、それを第三者が信頼性高く検出できるか。
• RQ2 さまざまなデコoding戦略（マルチノミアル、グリーディ、ビームサーチ）下でのウォーターマークの検出力と偽陽性率はどの程度か。
• RQ3 テキストエントロピーはウォーターマーク検出感度とサンプル効率にどう影響するか。
• RQ4 トークンの敵対的改変および秘密鍵（API）実装に対するウォーターマークの頑健性はどの程度か。

主な発見

• 単純なハードレッドリストウォーターマークは16トークン程度から1つの比例のz検定で検出可能で、z>4のとき偽陽性率は約3e-5となる。
• ソフトウォーターマークは高エントロピー領域でグリーントークン集合に対して確率を高め、困惑度への影響は限定的、検出感度はテキストエントロピーと共に拡張。
• OPT-1.3B/OPT-2.7Bでの実験は高い検出率を示し、例: z>4の下で多項分布およびビームサーチデコードの経験的感度は98.4-99.6%程度。
• このフレームワークはモデルアクセスなしで検出を維持し、公的または私的展開をサポートし、特定の攻撃戦略に対して頑健である一方、低エントロピー・記憶済みテキストのシナリオには限界を強調する。