[论文解读] Large Language Models Help Humans Verify Truthfulness -- Except When They Are Convincingly Wrong

Chenglei Si, Navita Goyal+5 more|arXiv (Cornell University)|Oct 19, 2023

Topic Modeling被引用 6

一句话总结

本研究评估了大型语言模型（LLMs）作为非专家用户事实核查辅助工具的效果，发现尽管LLM生成的解释显著加快了验证速度且准确率与搜索引擎相当，但用户往往过度依赖有缺陷的解释——尤其是当解释看似自信却错误时。对比性解释（同时展示正确与错误的推理）虽能减少过度依赖，但其准确率并未超过仅使用检索的结果。

ABSTRACT

Large Language Models (LLMs) are increasingly used for accessing information on the web. Their truthfulness and factuality are thus of great interest. To help users make the right decisions about the information they get, LLMs should not only provide information but also help users fact-check it. Our experiments with 80 crowdworkers compare language models with search engines (information retrieval systems) at facilitating fact-checking. We prompt LLMs to validate a given claim and provide corresponding explanations. Users reading LLM explanations are significantly more efficient than those using search engines while achieving similar accuracy. However, they over-rely on the LLMs when the explanation is wrong. To reduce over-reliance on LLMs, we ask LLMs to provide contrastive information - explain both why the claim is true and false, and then we present both sides of the explanation to users. This contrastive explanation mitigates users' over-reliance on LLMs, but cannot significantly outperform search engines. Further, showing both search engine results and LLM explanations offers no complementary benefits compared to search engines alone. Taken together, our study highlights that natural language explanations by LLMs may not be a reliable replacement for reading the retrieved passages, especially in high-stakes settings where over-relying on wrong AI explanations could lead to critical consequences.

研究动机与目标

• 评估LLM生成的自然语言解释是否相较于仅使用搜索引擎检索，能提升人类的事实核查表现。
• 探究用户为何在LLM解释存在事实错误时仍过度信任它们。
• 测试对比性解释（同时展示支持与反驳的论据）是否能减少对错误LLM输出的过度依赖。
• 评估结合检索与解释是否在准确率和效率方面提供互补优势。
• 为人类-AI事实核查工作流中何时以及如何有效使用LLM提供实用指导。

提出的方法

• 通过80名众包工作者开展的人类受试实验，比较四种条件下的事实核查表现：仅检索、仅解释、对比性解释，以及检索+解释。
• 使用FoolMeTwice数据集中带有标准维基百科证据的陈述，以确保事实依据的准确性。
• 使用GPT-3.5-turbo生成LLM解释，通过提示要求其验证陈述并提供推理过程。
• 通过提示让LLM为每个陈述同时生成支持和反驳的论据，实现对比性解释。
• 测量人类的准确率、任务耗时，以及推理策略（如依赖自相矛盾、检索到的段落或个人知识）。
• 分析用户决策模式，识别正确与错误判断中的错误来源。

Figure 1 . An example of the claim to be verified and the corresponding ChatGPT explanation, retrieved passages (abridged), and contrastive explanation. Note that the claim is true and the refuting explanation contains factual errors and reasoning contradiction.

实验结果

研究问题

• RQ1 与仅使用搜索引擎检索相比，使用LLM生成的解释是否能提升人类事实核查的准确率？
• RQ2 当LLM解释在事实上错误但看似可信时，用户如何反应？
• RQ3 对比性解释（同时展示正确与错误的推理）是否能减少对错误LLM输出的过度依赖？
• RQ4 结合检索与解释是否能带来优于单一方法的准确率或效率？
• RQ5 用户在判断陈述时采用的主要推理策略是什么？这些策略与准确率之间有何关联？

主要发现

• 用户阅读LLM解释时，验证速度比使用搜索引擎结果快2.5倍（1.01分钟/条陈述 vs. 2.53分钟/条陈述），且准确率相近（74% vs. 73%）。
• 当LLM解释错误时，用户有80%的时间过度依赖它们，导致准确率低于无AI辅助的基线水平（59%）。
• 对比性解释减少了对错误LLM输出的过度依赖，但与仅使用检索相比，未显著提升人类事实核查的准确率。
• 结合检索与解释在准确率或速度方面未带来显著互补优势，其表现不优于仅使用检索。
• 在仅解释条件下，40.7%的正确判断基于识别出LLM解释中的自相矛盾，表明用户有时能察觉推理缺陷。
• 在检索+解释条件下，63.5%的正确判断依赖于检索到的段落信息，表明原始证据比LLM生成的叙述更可信。

Figure 2 . Interface for the contrastive explanation condition. We present ChatGPT’s explanations for both sides together to encourage more careful thinking. We also highlight all the keywords to ease reading.