[論文レビュー] Provably Robust Multi-bit Watermarking for AI-generated Text

Wenjie Qu, Zheng, Wengrui+7 more|arXiv (Cornell University)|Jan 30, 2024

Advanced Steganography and Watermarking Techniques被引用数 5

ひとこと要約

この論文は、ECCベースのマルチビットウォーターマーク手法を用いてLLM生成テキストに対する証明可能なロバスト性を境界編集下で示し、高い抽出精度と攻撃に対する頑健性を示す。理論的なロバスト性の境界と広範な実験検証も提供する。

ABSTRACT

Large Language Models (LLMs) have demonstrated remarkable capabilities of generating texts resembling human language. However, they can be misused by criminals to create deceptive content, such as fake news and phishing emails, which raises ethical concerns. Watermarking is a key technique to address these concerns, which embeds a message (e.g., a bit string) into a text generated by an LLM. By embedding the user ID (represented as a bit string) into generated texts, we can trace generated texts to the user, known as content source tracing. The major limitation of existing watermarking techniques is that they achieve sub-optimal performance for content source tracing in real-world scenarios. The reason is that they cannot accurately or efficiently extract a long message from a generated text. We aim to address the limitations. In this work, we introduce a new watermarking method for LLM-generated text grounded in pseudo-random segment assignment. We also propose multiple techniques to further enhance the robustness of our watermarking algorithm. We conduct extensive experiments to evaluate our method. Our experimental results show that our method substantially outperforms existing baselines in both accuracy and robustness on benchmark datasets. For instance, when embedding a message of length 20 into a 200-token generated text, our method achieves a match rate of $97.6\%$, while the state-of-the-art work Yoo et al. only achieves $49.2\%$. Additionally, we prove that our watermark can tolerate edits within an edit distance of 17 on average for each paragraph under the same setting.

研究の動機と目的

• LLM生成テキストの乱用を動機づけて対処し、水印による検出と追跡を可能にする。
• 正確性、ロバスト性、効率を同時に達成するマルチビットウォーターマーク設計。
• 境界編集下で証明可能なロバスト性を持つECCベースの埋め込み/抽出フレームワークを導入。
• 現実世界のシナリオでの頑健なウォーターマーク抽出の実用的なパイプラインと理論分析を提供。
• データセットとLLMを跨ぐ実験で手法を検証し、ベースラインと比較。

提案手法

• まず BCH ECC でエンコードして得られた encoded message B を得て LLM生成テキストに二進ウォーターマーク K を埋め込む。
• トークン生成の各ステップで、最近のトークンからシードを計算し語彙を半分に partition して green/red リストを形成し、B のビット値へバイアスを掛けて埋め込みを可能にする。
• 複数のコードが適合する場合には、k>=b かつ b/n >= R を満たすコード族から BCH コード (n,k,t) を選択し、t/n が最大のコードを選ぶ。
• 抽出時は、位置ごとのトークンクラス分類からの投票を集計して B を復元し、BCH デコーダで K を復号してECCパディングビットを除外する。
• 正式なロバスト性分析を提供する: 多項分布モデルに基づくフレームワークを用いて境界編集距離下での抽出失敗確率を界限し、PD など関連量を定義する。
• 埋め込みアルゴリズム (Algorithm 1) と抽出アルゴリズム (Algorithm 2)、および頑健性境界を効率的に計算するオフライン前処理パイプラインを提示。

実験結果

リサーチクエスチョン

• RQ1 テキスト改変に対して高い正確性とロバスト性を両立したマルチビットウォーターマークをLLM出力に埋め込むことは可能か？
• RQ2 誤り訂正コードを組み込むことにより抽出精度とロバスト性はゼロビットやショートビット手法より改善されるか？
• RQ3 境界挿入/削除/置換編集の下でのECCベースLLMウォーターマーキングの理論的ロバスト性境界は何か？
• RQ4 複数のデータセットと複数のLLMに対してECCベースウォーターマーキングは実践的にどのように性能を示すか？
• RQ5 実用アプリケーションとしてのコンテンツソース追跡のような保証付きの手法をサポートできるか？

主な発見

• ECCベースの手法は高い一致率を達成し、例えば200トークンのテキストにおける12ビットウォータマークで98.4%、ベースラインの85.6%を上回る。
• コピー＆ペースト攻撃で50トークン挿入時、方法は90.8%の一致率を維持する一方、ベースラインは58.4%へ低下。
• この手法は、ウォーターマーク付きと無しのテキスト間で困惑度分布にごく小さな変化しか生じず、テキスト品質を保つ。
• 境界編集に対する証明可能なロバスト性境界を提供する: 多項分布モデルの確率分析を通じて導出。
• 複数のデータセット(OpenGen, C4 news, Essays)とLLMs(LLaMA-2-7B, Vicuna-7B, Falcon-7B)で、既存のマルチビットウォーターマーキング手法より優れていることを実証。
• この研究には理論保証を伴う実践的なECCベースのコンテンツソース追跡パイプラインが含まれる。