[论文解读] DeepTextMark: A Deep Learning-Driven Text Watermarking Approach for Identifying Large Language Model Generated Text

Travis Munyer, Tanvir, Abdullah+2 more|arXiv (Cornell University)|May 9, 2023

Topic Modeling被引用 4

一句话总结

DeepTextMark 提出了一种基于深度学习的文本水印技术，通过使用 Word2Vec 和通用句子编码器（Universal Sentence Encoder）实现语义相似性，将不可察觉的水印嵌入大语言模型（LLM）生成的文本中，再利用无源（blind）的、基于 Transformer 的分类器进行检测。该方法仅需 5–10 个句子即可实现接近完美的检测准确率（超过 98%），同时保持鲁棒性、不可察觉性与可扩展性，且检测过程无需原始文本。

ABSTRACT

The rapid advancement of Large Language Models (LLMs) has significantly enhanced the capabilities of text generators. With the potential for misuse escalating, the importance of discerning whether texts are human-authored or generated by LLMs has become paramount. Several preceding studies have ventured to address this challenge by employing binary classifiers to differentiate between human-written and LLM-generated text. Nevertheless, the reliability of these classifiers has been subject to question. Given that consequential decisions may hinge on the outcome of such classification, it is imperative that text source detection is of high caliber. In light of this, the present paper introduces DeepTextMark, a deep learning-driven text watermarking methodology devised for text source identification. By leveraging Word2Vec and Sentence Encoding for watermark insertion, alongside a transformer-based classifier for watermark detection, DeepTextMark epitomizes a blend of blindness, robustness, imperceptibility, and reliability. As elaborated within the paper, these attributes are crucial for universal text source detection, with a particular emphasis in this paper on text produced by LLMs. DeepTextMark offers a viable "add-on" solution to prevailing text generation frameworks, requiring no direct access or alterations to the underlying text generation mechanism. Experimental evaluations underscore the high imperceptibility, elevated detection accuracy, augmented robustness, reliability, and swift execution of DeepTextMark.

研究动机与目标

• 为应对大语言模型生成文本质量极高、与人类写作难以区分所带来的检测挑战。
• 克服现有二值分类器不可靠、非无源且易受规避攻击的局限性。
• 开发一种可扩展、自动且可靠的文本水印系统，在保持语义意义的同时，实现无需访问原始文本即可检测水印。
• 确保水印方法对轻微文本修改具有鲁棒性，并在各种文本输入中保持高检测准确率。
• 实现在教育和出版等领域中实际部署，如抄袭检测与滥用防范。

提出的方法

• 水印插入利用 Word2Vec 和通用句子编码器（Universal Sentence Encoder）嵌入，寻找所选词元的语义相似替换词，以确保不可察觉性。
• 该方法在句子级别实施词元替换，通过句子嵌入计算语义相似度评分，以保持语句流畅性与语义一致性。
• 基于 Transformer 的深度学习分类器仅从水印文本中检测水印，确保无源性与高检测准确率。
• 水印检测无需原始文本，使系统适用于实时与大规模部署。
• 系统通过聚合句子间的检测置信度，支持像论文这样的多句文本，提升检测可靠性。
• 水印过程完全自动化，可作为插件集成到现有大语言模型文本生成流程中，无需修改模型。

实验结果

研究问题

• RQ1 基于深度学习的水印系统能否在保持不可察觉性与对轻微文本修改的鲁棒性的同时，实现高检测准确率？
• RQ2 无源检测机制能否在不访问原始输入的情况下可靠识别出已水印的大语言模型生成文本？
• RQ3 检测准确率如何随文档中句子数量变化，特别是在像论文这样的多句文本中？
• RQ4 该水印方法能否作为插件集成到现有大语言模型系统中，而无需进行模型级别的修改？
• RQ5 使用预训练嵌入（Word2Vec 和通用句子编码器）在水印插入过程中在多大程度上提升了语义保真度？

主要发现

• 该方法在单一句子上实现 98.75% 的检测准确率，在仅 5–10 个句子时检测准确率超过 98%，接近近乎完美的可靠性。
• 水印过程保持了高度不可察觉性，替换词的语义相似度评分始终高于 0.96。
• 基于 Transformer 的分类器表现出强鲁棒性，即使在水印文本经过轻微编辑或改写后，仍能保持高检测准确率。
• 系统运行效率高，适用于实时处理或大规模文本批量处理。
• 该方法完全无源——检测无需原始文本——使其在原始内容不可用的环境中具有实际部署价值。
• 该方法在多句文档中表现出良好可扩展性，随着句子数量增加，检测置信度显著提升。