[论文解读] Disinformation Detection: An Evolving Challenge in the Age of LLMs

Bohan Jiang, Zhen Tan+2 more|arXiv (Cornell University)|Sep 25, 2023

Artificial Intelligence in Healthcare and Education被引用 10

一句话总结

本文评估当前的错误信息检测工具是否能稳健地检测到由 LLM 生成的错误信息，探索将 LLM 作为检测器的可行性，并提出链式思考提示以提升检测效果，并有新的由 LLM 生成的数据集做支撑。

ABSTRACT

The advent of generative Large Language Models (LLMs) such as ChatGPT has catalyzed transformative advancements across multiple domains. However, alongside these advancements, they have also introduced potential threats. One critical concern is the misuse of LLMs by disinformation spreaders, leveraging these models to generate highly persuasive yet misleading content that challenges the disinformation detection system. This work aims to address this issue by answering three research questions: (1) To what extent can the current disinformation detection technique reliably detect LLM-generated disinformation? (2) If traditional techniques prove less effective, can LLMs themself be exploited to serve as a robust defense against advanced disinformation? and, (3) Should both these strategies falter, what novel approaches can be proposed to counter this burgeoning threat effectively? A holistic exploration for the formation and detection of disinformation is conducted to foster this line of research.

研究动机与目标

• 评估现有错误信息检测技术对抗由 LLM 生成的错误信息的鲁棒性。
• 探究LLMs自身能否检测由LLM生成的错误信息。
• 提出基于提示的新方法以改善对先进的混合内容错误信息的检测。

提出的方法

• 基于一个人工撰写的假新闻基线，使用三种提示技术构建三个由 LLM 生成的错误信息数据集（D_gpt_std, D_gpt_mix, D_gpt_cot）。
• 在人工撰写的错误信息上微调基于 RoBERTa 的检测器，并在由 LLM 生成的错误信息上评估其性能。
• 在多种提示下评估 LLMs（ChatGPT/GPT-3.5 与 GPT-4）作为检测器的能力和变异性。
• 开发并应用为错误信息检测定制的 chain-of-thought 提示，以引导 LLM 进行事实核查。
• 进行消融研究以确定情境要素（人物、地点、时间、事件）对检测性能的重要性。

实验结果

研究问题

• RQ1 RQ1: 现有的错误信息检测技术是否适用于 LLM 生成的错误信息？
• RQ2 RQ2: 是否可以让 LLM 自身适应检测此类错误信息？
• RQ3 RQ3: 如果传统方法失效，哪些新颖方法可以应对先进的 LLM 生成的错误信息？

主要发现

• 微调后的 RoBERTa 能较好地检测简单的由 LLM 生成的错误信息，但在高级提示下表现不佳（例如，chain-of-thought 提示导致77.93%的误分类）。
• RoBERTa 检测器存在政治偏见，将偏向中间立场的内容错判为真实的概率高于自由派或保守派内容。
• 普通的 ChatGPT 很难检测自己生成的错误信息；然而，使用精心设计的 chain-of-thought 提示可提升准确性。
• GPT-4 通常在检测由 LLM 生成的错误信息方面优于 GPT-3.5，尤其是在被要求揭示分析过程时。
• 能够引出分析性推理（CoT）的提示显著降低误分类，在消融测试中，GPT-4（all_scale）在 D_gpt_std 上达到 4.7%，在 D_gpt_mix 上达到 11.9%，在 D_gpt_cot 上达到 22.2%。
• 该研究提供三个 LLM 生成的数据集，并证明高级提示与推理提示可以增强对 LLM 生成的错误信息的检测。