[论文解读] Factuality Challenges in the Era of Large Language Models

Isabelle Augenstein, Timothy Baldwin+16 more|arXiv (Cornell University)|Oct 8, 2023

Topic Modeling被引用 33

一句话总结

论文综述大语言模型（LLMs）的事实性风险和滥用，分析它们的幻觉倾向，并提出一个多方面的缓解、监管和负责任使用议程。

ABSTRACT

The emergence of tools based on Large Language Models (LLMs), such as OpenAI's ChatGPT, Microsoft's Bing Chat, and Google's Bard, has garnered immense public attention. These incredibly useful, natural-sounding tools mark significant advances in natural language generation, yet they exhibit a propensity to generate false, erroneous, or misleading content -- commonly referred to as "hallucinations." Moreover, LLMs can be exploited for malicious applications, such as generating false but credible-sounding content and profiles at scale. This poses a significant challenge to society in terms of the potential deception of users and the increasing dissemination of inaccurate information. In light of these risks, we explore the kinds of technological innovations, regulatory reforms, and AI literacy initiatives needed from fact-checkers, news organizations, and the broader research and policy communities. By identifying the risks, the imminent threats, and some viable solutions, we seek to shed light on navigating various aspects of veracity in the era of generative AI.

研究动机与目标

• 评估 LLM 生成的错误信息、幻觉和欺骗性内容的风险。
• 审视 LLM 对事实核查、公共信任和信息可信度的影响。
• 确定技术、监管和教育策略以缓解事实性问题。
• 提出一个整合框架，结合对齐、检索、评估和治理，以在 GenAI 中驾驭真实性。
• 强调事实核查人员和记者在负责任地利用 LLM 的机会。

提出的方法

• 回顾并综合关于 LLM 幻觉、事实性和错误信息的文献。
• 描述与恶意使用 LLM 相关的风险因素和迫在眉睫的威胁。
• 讨论现有与提出的缓解策略，包括对齐、检索增强生成和知识编辑。
• 评估评估挑战及新事实性度量的出现（例如 TruthfulQA、GPTScore、G-Eval、SelfCheckGPT）。
• 提出面向个人、组织和政府的政策、教育和监管导向的建议。

实验结果

研究问题

• RQ1 LLMs 及其潜在滥用所带来的主要事实性相关风险与威胁是什么？
• RQ2 现有评估衡量如何捕捉事实性，以及它们的局限性是什么？
• RQ3 哪些技术与治理策略可以缓解幻觉并提高 GenAI 输出的真实性？
• RQ4 事实核查者和记者如何利用 LLMs 支持核验而不放大错误信息？
• RQ5 需要哪些监管与教育框架来引导社会中的 GenAI 真实性？

主要发现

• LLMs 生成连贯但常常缺乏证据或不正确的内容，给验证带来显著挑战。
• 幻觉受到训练数据、模型对齐和缺乏透明来源的影响，增加事实核查和公众信任的复杂性。
• 检索增强生成和知识编辑为提升事实性提供了有希望的途径，但需要可扩展的依据和仔细评估。
• 事实性评估指标与人类判断的相关性仅为适度，并且可能因领域或情境而异。
• 水印、内容溯源和监管框架被讨论为潜在的防护措施，尽管有效性因模型开放性和攻击者能力而异。
• 事实核查人员在转录、摘要和整理主张方面使用 LLMs 有切实机会，同时要认识到自动化引发的错误与意外后果的风险。