[論文レビュー] DeepTextMark: A Deep Learning-Driven Text Watermarking Approach for Identifying Large Language Model Generated Text

Travis Munyer, Tanvir, Abdullah+2 more|arXiv (Cornell University)|May 9, 2023

Topic Modeling被引用数 4

ひとこと要約

DeepTextMark は、意味的類似性を維持するための Word2Vec および Universal Sentence Encoder を用いて、人間の文章と区別できない水増しを埋め込む深層学習ベースのテキストウォーターマーキング手法を提案する。その後、元のテキストが不要なブラインドで、トランスフォーマーに基づく分類器を用いてウォーターマークを検出する。この手法は、わずか 5〜10 文のテキストで 98% を超える検出精度（ほぼ完璧）を達成し、元のテキストが不要なため、実用的でスケーラブルであり、微細な変更に対しても耐性があり、完全に人間が気づかない水増しを維持する。

ABSTRACT

The rapid advancement of Large Language Models (LLMs) has significantly enhanced the capabilities of text generators. With the potential for misuse escalating, the importance of discerning whether texts are human-authored or generated by LLMs has become paramount. Several preceding studies have ventured to address this challenge by employing binary classifiers to differentiate between human-written and LLM-generated text. Nevertheless, the reliability of these classifiers has been subject to question. Given that consequential decisions may hinge on the outcome of such classification, it is imperative that text source detection is of high caliber. In light of this, the present paper introduces DeepTextMark, a deep learning-driven text watermarking methodology devised for text source identification. By leveraging Word2Vec and Sentence Encoding for watermark insertion, alongside a transformer-based classifier for watermark detection, DeepTextMark epitomizes a blend of blindness, robustness, imperceptibility, and reliability. As elaborated within the paper, these attributes are crucial for universal text source detection, with a particular emphasis in this paper on text produced by LLMs. DeepTextMark offers a viable "add-on" solution to prevailing text generation frameworks, requiring no direct access or alterations to the underlying text generation mechanism. Experimental evaluations underscore the high imperceptibility, elevated detection accuracy, augmented robustness, reliability, and swift execution of DeepTextMark.

研究の動機と目的

• 高品質で人間の文章と区別がつかない LLM 生成テキストの検出という、増加する課題に対処すること。
• 従来のバイナリ分類器の限界（信頼性が低く、非ブラインドで、回避攻撃に対して脆弱）を克服すること。
• 意味的意味を保ちつつ、元のテキストが不要な状態で検出可能な、スケーラブルで自動的かつ信頼性の高いテキストウォーターマーキングシステムを構築すること。
• 微細なテキスト変更に対しても耐性があり、多様なテキスト入力に対して高い検出精度を維持するウォーターマーキング手法を確保すること。
• 教育や出版分野における改ざん防止や模倣検出などの実世界応用への実用的導入を可能にすること。

提案手法

• ウォーターマークの埋め込みは、選択されたトークンの意味的に類似した語に置き換えることで行い、Word2Vec および Universal Sentence Encoder の埋め込みを用いて、人間が気づかない水増しを実現する。
• この手法は文単位での語の置換を適用し、文の埋め込みを用いて意味的類似度スコアを計算することで、流れや意味を保つ。
• トランスフォーマーに基づく深層学習分類器が、ウォーターマーク付きテキストからのみウォーターマークを検出することで、ブラインド性と高い検出精度を実現する。
• ウォーターマーク検出には元のテキストを必要としないため、リアルタイムや大規模な展開に実用的である。
• エッセイのような複数文のテキストに対応するため、文ごとの検出信頼度を統合することで、信頼性を向上させる。
• ウォーターマーク処理は完全に自動的であり、モデル自体を変更することなく、既存の LLM テキスト生成パイプラインに追加として統合可能である。

実験結果

リサーチクエスチョン

• RQ1 深層学習ベースのウォーターマーキングシステムは、人間が気づかない水増しを維持しながら、微細なテキスト変更に対しても耐性があり、高い検出精度を達成できるか？
• RQ2 元の入力が入手不可な状態でも、ブラインド検出メカニズムが信頼性高くウォーターマーク付きの LLM 生成テキストを特定できるか？
• RQ3 特にエッセイのような複数文の文書において、文の数が増えるに従って検出精度はどのように変化するか？
• RQ4 ウォーターマーキング手法は、モデルレベルの変更なしに、既存の LLM システムにプラグインとして実装可能か？
• RQ5 事前学習済み埋め込み（Word2Vec および Universal Sentence Encoder）を用いることで、ウォーターマーク埋め込み時の意味的整合性はどの程度向上するか？

主な発見

• 提案手法は、1文の文書で 98.75% の検出精度を達成し、5〜10 文の文書では 98% を超える精度を示し、ほぼ完璧な信頼性に近づく。
• ウォーターマーク処理は高い透過性を維持しており、置換語の意味的類似度スコアが常に 0.96 を超えることで裏付けられている。
• トランスフォーマーに基づく分類器は耐性があり、ウォーターマーク付きテキストがわずかな編集や言い換えを経ても高い検出精度を維持する。
• 高速な実行速度を実現しており、リアルタイム処理や大規模テキストのバッチ処理に適している。
• 完全にブラインドであるため、元のテキストが入手不可な環境での展開に実用的である。
• 複数文の文書に対しても良好にスケーリングされ、文の数が増えるに従い、検出信頼度が顕著に向上する。