[論文レビュー] REMARK-LLM: A Robust and Efficient Watermarking Framework for Generative Large Language Models

Ruisi Zhang, Shehzeen Samarah Hussain+2 more|arXiv (Cornell University)|Oct 18, 2023

Advanced Steganography and Watermarking Techniques被引用数 9

ひとこと要約

REMARK-LLM は、メッセージエンコード、リパラメータ化、デコーディングの3モジュールから成る学習ベースの watermarking フレームワークを、最適化されたビーム探索とともに導入します。従来技術より最大で 2× 多くの watermark ビットを埋め込みつつ、意味論と堅牢性を保ちます。

ABSTRACT

We present REMARK-LLM, a novel efficient, and robust watermarking framework designed for texts generated by large language models (LLMs). Synthesizing human-like content using LLMs necessitates vast computational resources and extensive datasets, encapsulating critical intellectual property (IP). However, the generated content is prone to malicious exploitation, including spamming and plagiarism. To address the challenges, REMARK-LLM proposes three new components: (i) a learning-based message encoding module to infuse binary signatures into LLM-generated texts; (ii) a reparameterization module to transform the dense distributions from the message encoding to the sparse distribution of the watermarked textual tokens; (iii) a decoding module dedicated for signature extraction; Furthermore, we introduce an optimized beam search algorithm to guarantee the coherence and consistency of the generated content. REMARK-LLM is rigorously trained to encourage the preservation of semantic integrity in watermarked content, while ensuring effective watermark retrieval. Extensive evaluations on multiple unseen datasets highlight REMARK-LLM proficiency and transferability in inserting 2 times more signature bits into the same texts when compared to prior art, all while maintaining semantic integrity. Furthermore, REMARK-LLM exhibits better resilience against a spectrum of watermark detection and removal attacks.

研究の動機と目的

• LLM生成テキストにおけるIP保護とコンテンツ追跡がなぜ重要か動機づける。
• LLM出力に合わせた堅牢で効率的な watermarking フレームワークを提案する。
• 最適化されたデコーディングビーム探索を備えた3モジュール構成（メッセージエンコード、リパラメータ化、デコード）を設計する。
• 意味論を保持しつつ信頼性の高い watermark抽出と変換耐性を可能にするエンドツーエンド訓練を行う。
• 見たことのないデータセットや攻撃シナリオに対する移管性と耐性を示す。

提案手法

• Seq2Seq ベースのメッセージエンコードモジュールを使用して、LLM生成テキスト分布にバイナリ署名を埋め込む。
• Gumbel-Softmax によるリパラメータ化ステップを適用して、 dense watermark distributions を疎なトークン分布に変換する。
• ウォーターマーク表現から埋め込まれた署名を回復するため、トランスフォーマーベースのメッセージデコーダを採用する。
• 署名挿入時に最適化されたビーム探索を統合して、整合性を維持し抽出性を最大化する。
• 意味論損失とメッセージ回復損失を用いたエンドツーエンド訓練に加え、悪意ある変換に対する頑健性を確保する。
• セグメントおよび長文テキストでベースライン（CATER、KGW、EXP、AWT）と比較評価し、未知データへの移行性をテストする。

Figure 1: LLM-generated text watermarking scenario. The local user sends prompts to the remote LLM cloud API, and the API watermarks (WM) the responded texts before sending them back to users. LLM proprietor claims ownership by using the message decoding module to decode the signatures and compare t

実験結果

リサーチクエスチョン

• RQ1 REMARK-LLM は生成テキストの意味品質を損なうことなく堅牢な watermark を埋め込むことができるか？
• RQ2 一般的なテキスト変換や攻撃の下で watermark 抽出の性能はどうなるか？
• RQ3 先行ニューラルベース手法より長い watermark 署名を埋め込みつつ品質を維持できるか？
• RQ4 再訓練せずに未知データセット間でフレームワークは移行できるか？
• RQ5 既存の watermarking 方式と比較した際の効率性と堅牢性の特徴は何か？

主な発見

• REMARK-LLM は同じ内容で従来技術より 2× 多くの署名ビットを埋め込む。
• 挿入は迅速であることが実証され、比較では 1.5 秒程度で完了。
• フレームワークは意味的整合性を平均 BERT スコア約 0.90 で維持し、追加のファインチューニングなしに未知の出所への移行性を示す。
• ウォーターマーク検出・除去攻撃の下で、 REMARK-LLM は平均 AUC 0.85 を達成。
• ベースラインと比較して、意味論と一貫性の保持をより良く行いつつ署名容量を増加させる。
• 長文 watermarking（例：640 トークン）は、競合手法に対して有利な性能を示す。

Figure 2: REMARK-LLM’s Watermarking Framework. The left is an overview of REMARK-LLM: The message encoding module leverages an optimized beam search algorithm to produce coherent watermarked contents; The message decoding module is designed for efficient watermark extraction. The right is REMARK-LLM