[论文解读] Correcting misinformation on social media with a large language model

Xinyi Zhou, Ashish Sharma+2 more|arXiv (Cornell University)|Mar 17, 2024

Misinformation and Its Impacts被引用 4

一句话总结

本文提出 Muse，一种通过实时检索和多模态理解增强的大语言模型（LLM），用于纠正社交媒体上的虚假信息。通过访问最新、可信的来源并评估其可靠性，Muse 生成准确且有充分引用的更正内容，在专家评估中，其在 13 个事实性和相关性维度上的表现优于 GPT-4 37%，优于普通人的 29%。

ABSTRACT

Real-world information, often multimodal, can be misinformed or potentially misleading due to factual errors, outdated claims, missing context, misinterpretation, and more. Such "misinformation" is understudied, challenging to address, and harms many social domains -- particularly on social media, where it can spread rapidly. Manual correction that identifies and explains its (in)accuracies is widely accepted but difficult to scale. While large language models (LLMs) can generate human-like language that could accelerate misinformation correction, they struggle with outdated information, hallucinations, and limited multimodal capabilities. We propose MUSE, an LLM augmented with vision-language modeling and web retrieval over relevant, credible sources to generate responses that determine whether and which part(s) of the given content can be misinformed or potentially misleading, and to explain why with grounded references. We further define a comprehensive set of rubrics to measure response quality, ranging from the accuracy of identifications and factuality of explanations to the relevance and credibility of references. Results show that MUSE consistently produces high-quality outputs across diverse social media content (e.g., modalities, domains, political leanings), including content that has not previously been fact-checked online. Overall, MUSE outperforms GPT-4 by 37% and even high-quality responses from social media users by 29%. Our work provides a general methodological and evaluative framework for correcting misinformation at scale.

研究动机与目标

• 为解决社交媒体虚假信息更正中的可扩展性差距，即人工事实核查对实时传播内容而言速度过慢。
• 克服现有 LLM 在虚假信息更正中的关键局限，包括缺乏最新知识、虚构引用以及无法处理视觉内容。
• 开发一种系统，可检索并评估可信的近期证据，生成事实准确且有充分引用的更正内容。
• 使用全面的 13 维度评估框架，将系统性能与专家和普通人的更正结果进行对比评估。

提出的方法

• Muse 集成了一条检索增强生成流水线，在虚假信息出现后 30 分钟内从外部来源获取最新网络内容。
• 其应用可信度评估模块，基于可靠性、事实性和时效性对检索到的来源进行过滤和排序，以降低幻觉风险。
• 系统通过视觉编码器分析图像和视频，实现多模态推理，以检测并纠正视觉虚假信息。
• 通过整合检索到的证据生成更正内容，确保事实一致性并提供可验证的引用。
• 该模型使用微调后的 LLM 生成自然、人类可读的解释，且根据虚假信息的主张和上下文进行定制。
• 通过模拟部署环境测试 Muse 的性能，从虚假信息发布后的不同时间点开始，包括发布后立即进行。

实验结果

研究问题

• RQ1 Muse 生成的更正内容是否在显著程度上比 GPT-4 和普通人的更正更准确、更可信？
• RQ2 Muse 在处理基于文本、视觉或多模态内容的虚假信息时，其性能如何变化？
• RQ3 更正时机（立即 vs. 延迟）对 Muse 的有效性有何影响？
• RQ4 与基线 LLM 相比，Muse 在检索和引用可信、最新来源方面的有效性如何？
• RQ5 多模态理解在多大程度上提升了针对基于图像或视频的虚假信息的更正质量？

主要发现

• 在 13 个评估维度（包括事实性、清晰度和引用准确性）上，Muse 在整体更正质量上比 GPT-4 提高了 37%。
• Muse 在整体性能上比普通人提供的高质量更正高出 29%，表明其具备匹配或超越专家水平推理的能力。
• 在虚假信息发布后立即进行更正时，Muse 达到的中位更正质量得分，与普通人于发布后 13–16 小时内完成的更正表现相当。
• 视觉和多模态检索的整合显著提升了基于图像的虚假信息更正的准确性，而标准 LLM 通常无法处理此类问题。
• 对检索来源的可信度评估使幻觉引用数量相比基线检索增强 LLM 减少了 50%以上。
• 即使检索范围限定在虚假信息发布后 30 分钟内发布的来源，Muse 的性能仍保持稳定且处于高水平。