[論文レビュー] A Semantic Invariant Robust Watermark for Large Language Models

Aiwei Liu, Leyi Pan+3 more|arXiv (Cornell University)|Oct 10, 2023

Topic Modeling被引用数 4

ひとこと要約

本論文は、大規模言語モデル向けに意味的不変水増しインクリメンタル法を提案する。この手法は、前駆トークンの意味的埋め込みに基づいて水増しログィットを生成する専用の水増しモデルを用いる。BERTベースのエンコーダーと、類似性および正規化損失を最適化した訓練済み変換ネットワークを活用することで、言い換えや同義語置換に対する高い攻撃耐性を達成するとともに、強力なセキュリティ耐性を維持し、長年の課題であった耐性タイプ間のトレードオフを解消する。

ABSTRACT

Watermark algorithms for large language models (LLMs) have achieved extremely high accuracy in detecting text generated by LLMs. Such algorithms typically involve adding extra watermark logits to the LLM's logits at each generation step. However, prior algorithms face a trade-off between attack robustness and security robustness. This is because the watermark logits for a token are determined by a certain number of preceding tokens; a small number leads to low security robustness, while a large number results in insufficient attack robustness. In this work, we propose a semantic invariant watermarking method for LLMs that provides both attack robustness and security robustness. The watermark logits in our work are determined by the semantics of all preceding tokens. Specifically, we utilize another embedding LLM to generate semantic embeddings for all preceding tokens, and then these semantic embeddings are transformed into the watermark logits through our trained watermark model. Subsequent analyses and experiments demonstrated the attack robustness of our method in semantically invariant settings: synonym substitution and text paraphrasing settings. Finally, we also show that our watermark possesses adequate security robustness. Our code and data are available at \href{https://github.com/THU-BPM/Robust_Watermark}{https://github.com/THU-BPM/Robust\_Watermark}. Additionally, our algorithm could also be accessed through MarkLLM \citep{pan2024markllm} \footnote{https://github.com/THU-BPM/MarkLLM}.

研究の動機と目的

• LLMの水増しにおいて、攻撃耐性とセキュリティ耐性の間にある本質的なトレードオフを解消すること。
• 言い換えや同義語置換といった意味的不変のテキスト変更に対しても効果を発揮する水増し手法を開発すること。
• 水増しログィットが多様で偏りがなく、周波数ベースのクラッキング攻撃に対して耐性を持つようにすること。
• 水増しログィットとLLMログィットの並列計算を可能にすることで、テキスト生成時の遅延を最小限に抑えること。
• 文の質をパープレキシティで測定した場合に、高い検出精度を維持しながらも、テキスト品質を損なわないようにすること。

提案手法

• 本手法は、前駆トークンの意味的埋め込みを抽出するために、別個の埋め込みLLM（例：Compositional-BERT）を用いる。
• 学習可能な水増しモデルは、4層のフィードフォワードネットワークを介して、これらの意味的埋め込みを水増しログィットに変換する。
• 水増しモデルは2つの目的で訓練される：水増しログィットにおける意味的類似性を保持するための類似性損失、およびゼロを中心としてバランスの取れた二峰性のログィットを保証する正規化損失。
• 水増しログィットはtanh関数を用いてスケーリングされ、±1に近い値をとるようになる。これによりバイアスが最小限に抑えられ、多様性が最大化される。
• 生成段階では、水増しログィットとLLMログィットを並列に計算し、遅延の増加を最小限に抑える。
• 水増し検出は、全トークンにわたる水増しログィットの平均値を計算することで実施され、平均値が顕著に正であれば水増しが存在すると判断される。

Figure 1: An illustration of our semantic invariant robust watermarking method. Text is input into a generative LLM for token logits and an embedding LLM for text embedding. The embedding is converted into watermark logits via the Watermark Model. LLM logits and watermark logits are then combined fo

実験結果

リサーチクエスチョン

• RQ1 言い換えや同義語置換といった意味的不変のテキスト摂動に対して、水増し手法が耐性を保つことができるか。
• RQ2 従来のトレードオフを克服し、同時に高い攻撃耐性と強力なセキュリティ耐性を達成できる水増しスキームは可能か。
• RQ3 意味の変化に対して不変であるが、テキストの構造的パターンに対しては感受性を持つような水増しログィットの生成方法は何か。
• RQ4 パープレキシティで測定した場合、水増し手法がテキスト品質にどの程度の影響を及ぼすか。
• RQ5 水増し処理を効率的に並列化でき、推論時の遅延を最小限に抑えることができるか。

主な発見

• 提案手法は、K消去法-1（グローバル水増しログィット）と同等の攻撃耐性を達成しており、同義語置換や言い換えの条件下で、水増しログィットベース手法の理論的上限に近い性能を示す。
• スプーフィング攻撃において、攻撃者が水増しを抽出しようとした場合の復号精度が低く抑えられ、先行手法を上回る強固なセキュリティ耐性を示す。
• 水増しモデルは、入力埋め込みの類似性と出力水増しログィットの類似性の間で強い相関関係を維持しており、特に意味的に類似度が高い入力（類似度 > 0.8）に対して顕著である。
• テキスト品質への影響は最小限であり、パープレキシティはわずかに上昇するが、K消去法シリーズの手法よりもわずかに低い水準を示しており、より優れたスムーズさと一貫性を示している。
• 遅延増加はわずかで、LLaMA-7Bでは非並列化時で40%の時間オーバーヘッドにとどまり、水増しログィットとLLMログィットを並列に計算する際には、生成速度にほぼ差がない。
• 正規化損失は極端なログィット値の発生を効果的に防止し、対称的かつ偏りのないトークン選択を可能にし、セキュリティと多様性の両面で向上をもたらす。