[论文解读] Large Language Model Agent for Fake News Detection

Xinyi Li, Yongfeng Zhang+1 more|arXiv (Cornell University)|Apr 30, 2024

Misinformation and Its Impacts被引用 4

一句话总结

本文提出 FactAgent，一种基于大语言模型（LLMs）的代理式框架，通过结合内部知识与外部工具的结构化、专家设计的工作流程，实现无需训练的虚假新闻检测。FactAgent 通过将验证过程分解为子步骤，提供透明、逐步推理，实现高准确率，优于监督模型和标准提示工程技术。

ABSTRACT

In the current digital era, the rapid spread of misinformation on online platforms presents significant challenges to societal well-being, public trust, and democratic processes, influencing critical decision making and public opinion. To address these challenges, there is a growing need for automated fake news detection mechanisms. Pre-trained large language models (LLMs) have demonstrated exceptional capabilities across various natural language processing (NLP) tasks, prompting exploration into their potential for verifying news claims. Instead of employing LLMs in a non-agentic way, where LLMs generate responses based on direct prompts in a single shot, our work introduces FactAgent, an agentic approach of utilizing LLMs for fake news detection. FactAgent enables LLMs to emulate human expert behavior in verifying news claims without any model training, following a structured workflow. This workflow breaks down the complex task of news veracity checking into multiple sub-steps, where LLMs complete simple tasks using their internal knowledge or external tools. At the final step of the workflow, LLMs integrate all findings throughout the workflow to determine the news claim's veracity. Compared to manual human verification, FactAgent offers enhanced efficiency. Experimental studies demonstrate the effectiveness of FactAgent in verifying claims without the need for any training process. Moreover, FactAgent provides transparent explanations at each step of the workflow and during final decision-making, offering insights into the reasoning process of fake news detection for end users. FactAgent is highly adaptable, allowing for straightforward updates to its tools that LLMs can leverage within the workflow, as well as updates to the workflow itself using domain knowledge. This adaptability enables FactAgent's application to news verification across various domains.

研究动机与目标

• 为应对数字平台上虚假信息快速传播背景下，规模化、高效化虚假新闻检测的挑战。
• 克服监督模型的局限性，后者需要昂贵的人工标注数据集进行训练。
• 通过在验证过程的每一步提供明确的推理，提升虚假新闻检测的可解释性与透明度。
• 通过利用领域专业知识更新工具和工作流程，实现检测系统在不同领域中的灵活适应。
• 证明基于大语言模型的代理式系统可在无需微调的情况下，超越非代理式提示工程和现有事实核查方法。

提出的方法

• FactAgent 采用结构化、多步骤的工作流程，模拟人类专家的事实核查行为，将新闻验证分解为可管理的子任务。
• 每个子步骤利用大语言模型的内部知识或外部工具（如搜索引擎、知识图谱）检索相关证据。
• 大语言模型将各工具的发现结果与领域特定的检查清单进行比对，以确保推理的一致性与完整性。
• 最终决策基于大语言模型对所有观察结果的综合判断，而非僵化的多数票机制，从而支持更细致的判断。
• 工作流程基于专家领域知识设计，可轻松更新以整合新工具或验证标准。
• 系统以零样本方式运行，无需模型微调或标注数据进行训练。

实验结果

研究问题

• RQ1 基于大语言模型的代理式系统是否能在无需任何训练的情况下，超越非代理式提示工程和监督模型在虚假新闻检测中的表现？
• RQ2 专家设计的工作流程与外部工具的引入，如何影响基于大语言模型的事实核查的准确率与可解释性？
• RQ3 允许大语言模型对多个证据源和检查清单进行推理，是否能带来优于依赖多数票策略的性能表现？
• RQ4 FactAgent 在多大程度上可通过工作流程和工具更新适应不同新闻领域？
• RQ5 FactAgent 中逐步推理的透明性，相较于黑箱模型，如何提升用户信任与理解？

主要发现

• 采用专家设计工作流程的 FactAgent，在虚假新闻检测中优于监督学习模型、标准提示、思维链提示和单方面分析方法。
• 与先前基于大语言模型的事实核查系统 HiSS（使用外部搜索）相比，FactAgent 通过整合结构化推理与领域特定检查清单，实现了更高的性能。
• 采用多数票策略进行最终决策的性能劣于指示大语言模型将发现结果与检查清单进行比对的策略，表明灵活推理能带来更优结果。
• 该系统在每一步骤均提供明确的自然语言解释，显著提升了可解释性与用户对验证过程的理解。
• FactAgent 的性能高度依赖于专家设计工作流程的质量，凸显了领域知识在系统设计中的重要性。
• 该框架具有高度可扩展性，可在无需重新训练的情况下无缝集成新工具并修改工作流程。