[论文解读] ConDA: Contrastive Domain Adaptation for AI-generated Text Detection

Amrita Bhattacharjee, Tharindu Kumarage+2 more|arXiv (Cornell University)|Sep 7, 2023

Topic ModelingComputer Science被引用 3

一句话总结

ConDA 提出了一种对比域自适应框架，利用来自一个大语言模型（LLM）的有标签源数据和来自另一个 LLM 的无标签目标数据，检测由 AI 生成的新闻文本，而无需目标生成器的标签。通过结合域自适应与对比学习，ConDA 实现了最先进性能，将与完全监督检测器的差距缩小至 0.8% 以内，并在平均性能上相比基线模型提升了 31.7%。

ABSTRACT

Large language models (LLMs) are increasingly being used for generating text in a variety of use cases, including journalistic news articles. Given the potential malicious nature in which these LLMs can be used to generate disinformation at scale, it is important to build effective detectors for such AI-generated text. Given the surge in development of new LLMs, acquiring labeled training data for supervised detectors is a bottleneck. However, there might be plenty of unlabeled text data available, without information on which generator it came from. In this work we tackle this data problem, in detecting AI-generated news text, and frame the problem as an unsupervised domain adaptation task. Here the domains are the different text generators, i.e. LLMs, and we assume we have access to only the labeled source data and unlabeled target data. We develop a Contrastive Domain Adaptation framework, called ConDA, that blends standard domain adaptation techniques with the representation power of contrastive learning to learn domain invariant representations that are effective for the final unsupervised detection task. Our experiments demonstrate the effectiveness of our framework, resulting in average performance gains of 31.7% from the best performing baselines, and within 0.8% margin of a fully supervised detector. All our code and data is available at https://github.com/AmritaBh/ConDA-gen-text-detection.

研究动机与目标

• 解决在缺乏新或未见 LLM 标注数据的情况下检测 AI 生成新闻文本的挑战。
• 通过利用无标签目标域数据，在低资源环境下提升检测性能。
• 开发一种可在多种 LLM 上泛化的框架，而无需为每个新生成器重新训练。
• 通过将检测问题建模为无监督域自适应问题，减少对大规模标注数据集的依赖。
• 通过对比学习增强模型鲁棒性与泛化能力，鼓励学习域不变表示。

提出的方法

• 该框架使用预训练语言模型（RoBERTa）作为主干网络，用于源域和目标域的特征提取。
• 应用对比学习目标，促使正样本对（例如，同一样本的增强视图）具有相似表示，同时将跨域的负样本对相互推开。
• 使用域判别器对齐源域和目标域的特征，最小化域间差异，同时保留人类与 AI 生成文本之间的任务特异性区分。
• 通过共享编码器权重的多任务学习目标，联合优化检测准确率与域不变性。
• 该框架使用有标签源数据（如 GROVER_mega）和无标签目标数据（如 ChatGPT）进行端到端训练，无需目标标签。
• 对比损失作为正则化项，减少对源生成器的过拟合，提升对未见 LLM 的零样本泛化能力。

实验结果

研究问题

• RQ1 当仅有来自源 LLM 的标注数据和来自目标 LLM 的无标注数据时，对比域自适应框架能否有效检测 AI 生成的新闻文本？
• RQ2 对比学习的引入在多大程度上提升了 AI 生成文本检测中域不变表示的学习能力？
• RQ3 ConDA 在无需在其数据上微调的情况下，对新发布或未见 LLM 的泛化能力如何？
• RQ4 在零样本检测设置下，ConDA 的性能与完全监督检测器及现有无监督基线相比如何？
• RQ5 对比学习对模型在多种 LLM 和文本风格下的鲁棒性与泛化能力有何影响？

主要发现

• ConDA 在无监督 AI 生成文本检测任务中，平均性能相比最佳基线模型提升了 31.7%。
• 该模型在多个基准数据集上将与完全监督检测器的性能差距缩小至 0.8% 以内。
• ConDA 展现出强大的零样本泛化能力，即使仅在其他生成器的数据上进行训练，也能有效检测未见 LLM（如 ChatGPT）生成的文本。
• 嵌入可视化显示，ConDA 有效减少了域特定特征，同时保留了人类与 AI 生成文本之间的可分性。
• 对比学习组件显著提升了域不变性，体现在潜在空间中域偏移的降低。
• 该框架在多种 LLM 上保持高性能，包括 GROVER_mega、GPT-3.5 和 ChatGPT，表明其具备强大的泛化能力。