[論文レビュー] Robust Multi-bit Natural Language Watermarking through Invariant Features

KiYoon Yoo, Wonhyuk Ahn+2 more|arXiv (Cornell University)|May 3, 2023

Advanced Steganography and Watermarking Techniques被引用数 5

ひとこと要約

本稿では、キーワードや依存構造などの不変な意味的・構文的特徴を活用して、一般的な破損に対して耐性を持つマルチビット自然言語水増しフレームワークを提案する。破損に強い埋め込みモデルを訓練し、これらの安定した特徴に水増しをアンカーすることで、4つのデータセットおよび複数の破損タイプと比率において、先行研究比で平均16.8パーセンテージポイントの改善を達成した。

ABSTRACT

Recent years have witnessed a proliferation of valuable original natural language contents found in subscription-based media outlets, web novel platforms, and outputs of large language models. However, these contents are susceptible to illegal piracy and potential misuse without proper security measures. This calls for a secure watermarking system to guarantee copyright protection through leakage tracing or ownership identification. To effectively combat piracy and protect copyrights, a multi-bit watermarking framework should be able to embed adequate bits of information and extract the watermarks in a robust manner despite possible corruption. In this work, we explore ways to advance both payload and robustness by following a well-known proposition from image watermarking and identify features in natural language that are invariant to minor corruption. Through a systematic analysis of the possible sources of errors, we further propose a corruption-resistant infill model. Our full method improves upon the previous work on robustness by +16.8% point on average on four datasets, three corruption types, and two corruption ratios. Code available at https://github.com/bangawayoo/nlp-watermarking.

研究の動機と目的

• サブスクリプションメディア、ウェブ小説、LLM出力からの高価値な自然言語コンテンツにおける著作権保護の増大するニーズに対応する。
• 高容量の埋め込みにおいて破損下で低耐性または低品質を示す既存の水増し手法の限界を克服する。
• 高いペイロード容量と強いテキスト破損耐性を両立させつつ、意味的品質を維持するフレームワークを開発する。
• 微小な変更下でも安定した特徴（キーワードや文法的依存関係など）を特定・活用し、水増しのアンカーとして利用する。
• 破損したテキストに明示的にさらされた訓練例を用いて、水増しの整合性を維持するための耐久性のある埋め込みモデルを訓練する。

提案手法

• オフザシェルNLPモデルを用いて、視認的に顕著で不変な特徴（特にキーワードと文法的依存構造部品）を同定する。
• これらの不変特徴に水増しの埋め込み位置をアンカーすることで、微小な破損下でも一貫的かつ信頼性の高い検出を実現する。
• 事前学習段階で破損した例を明示的に供給することで、一般的な破損に対して耐性を持つニューラル埋め込みモデルを訓練する。
• 二段階の水増しパイプラインを採用：第一に、不変特徴にビットを埋め込む。第二に、自然な流れを保つために耐久性のある埋め込みモデルを用いてテキストを再構築する。
• 文書変換モデルとNLIモデルを活用して、水増し埋め込みの順序を最適化し、意味的品質を向上させ、アーチファクトを低減する。
• 敵対的攻撃技術を用いて、トークン置換や削除などの敵対的破損をシミュレートし、実世界の耐久性を確保するための埋め込みモデルの訓練を行う。

Figure 1: Leftmost shows an example of a cover text and its keyword and syntactic dependency components (only partially shown due to space constraint); Middle shows Phase 1 and Phase 2; Rightmost shows an example of a valid watermark sample.

実験結果

リサーチクエスチョン

• RQ1 自然言語におけるどの意味的・構文的特徴が、微小な破損下でも安定したアンカーとして水増し埋め込みに適しているか？
• RQ2 どのような方法でニューラル埋め込みモデルを訓練すれば、テキストの破損タイプや度合いに関わらず水増しの整合性を維持できるか？
• RQ3 不変特徴に水増しをアンカーすることで、ランダムまたはヒューリスティックな埋め込み戦略と比較して、どれほど耐久性が向上するか？
• RQ4 ニューラル水増しにおいて、耐久性と意味的品質のトレードオフはどのように影響を受けるか？また、アーキテクチャ的および訓練的選択によってこれを緩和できるか？
• RQ5 本手法は、現実の破損シナリオ下で、多様なテキストタイプと文体に対してどのように性能を発揮するか？

主な発見

• 提案手法は、4つの多様なデータセット、3つの破損タイプ、2つの破損比率において、先行研究比で平均16.8パーセンテージポイントの水増し抽出精度の向上を達成した。
• キーワードや依存構造といった不変特徴を埋め込みアンカーとして使用することで、微小なテキスト変更に対する感受性が低減され、耐久性が顕著に向上した。
• 標準的なニューラル埋め込みモデルに比べ、破損に強い埋め込みモデルは、敵対的およびランダムな破損下でも水増しの整合性をより効果的に維持した。
• 高い耐久性を実現したにもかかわらず、NLIでソートされた順序付けとニューラル埋め込みのファインチューニングのおかげで、自動指標による意味的品質は競争力のある水準を維持した。
• ジャーナリズム的、ウェブ小説的、LLM生成テキストなど、多様な文体にわたり、優れた一般化性能を示した。
• 敵対的攻撃技術を訓練段階で用いてシミュレートした、一般的な破損タイプ（例：トークン置換、削除）に対しても、本手法は強い耐性を示した。

Figure 2: Robustness of $g_{1}$ and the difference between robustness of $g_{1}$ and $g_{2}$ under 5% corruption rate on IMDB.