[论文解读] Do Models Explain Themselves? Counterfactual Simulatability of Natural Language Explanations

Yanda Chen, Ruiqi Zhong+6 more|arXiv (Cornell University)|Jul 17, 2023

Topic Modeling被引用 5

一句话总结

本文提出反事实可模拟性作为一项新的评估框架，用于评估大型语言模型（LLM）的解释是否有助于人类构建对模型行为的准确心理模型。通过基于解释生成反事实输入，并测量人类推理结果与实际LLM输出的一致性，作者发现GPT-4和GPT-3.5的解释精确度较低（二元任务中为80%），且精确度与合理性之间无相关性，表明基于RLHF的优化可能无法提升可模拟性。

ABSTRACT

Large language models (LLMs) are trained to imitate humans to explain human decisions. However, do LLMs explain themselves? Can they help humans build mental models of how LLMs process different inputs? To answer these questions, we propose to evaluate $ extbf{counterfactual simulatability}$ of natural language explanations: whether an explanation can enable humans to precisely infer the model's outputs on diverse counterfactuals of the explained input. For example, if a model answers "yes" to the input question "Can eagles fly?" with the explanation "all birds can fly", then humans would infer from the explanation that it would also answer "yes" to the counterfactual input "Can penguins fly?". If the explanation is precise, then the model's answer should match humans' expectations. We implemented two metrics based on counterfactual simulatability: precision and generality. We generated diverse counterfactuals automatically using LLMs. We then used these metrics to evaluate state-of-the-art LLMs (e.g., GPT-4) on two tasks: multi-hop factual reasoning and reward modeling. We found that LLM's explanations have low precision and that precision does not correlate with plausibility. Therefore, naively optimizing human approvals (e.g., RLHF) may not be a sufficient solution.

研究动机与目标

• 探究LLM生成的自然语言解释是否能使人类准确预测模型在反事实输入下的行为。
• 弥补现有评估中对解释是否帮助人类形成对LLM推理与决策过程正确心理模型的缺失。
• 开发并验证衡量解释可模拟性的指标——模拟精确度与泛化性。
• 检验是否通过人类合理性优化（如RLHF）可提升反事实可模拟性。
• 利用这些新指标对最先进的LLM（GPT-3.5、GPT-4）在多跳推理与奖励建模任务上的表现进行基准测试。

提出的方法

• 提出反事实可模拟性作为新的评估范式：解释是否使人类能够推断出模型在多样化反事实输入下的正确输出。
• 使用LLM自动生成多样化且与解释相关的反事实输入（例如，将关于食物可得性的问题中的“BLT”改为“pork belly”）。
• 将人类模拟任务形式化为逻辑蕴含任务以减少主观性：人类基于解释和反事实输入推断模型输出。
• 定义两个指标：模拟精确度（人类推理与模型输出一致的反事实比例）和模拟泛化性（1减去相关反事实之间平均成对相似度）。
• 在两项任务上对GPT-3.5和GPT-4进行基准测试：StrategyQA（多跳事实推理）和Stanford Human Preference（奖励建模），采用Chain-of-Thought与Post-Hoc解释方法。
• 将模拟精确度与人类合理性评分进行相关性分析，以评估优化人类认可度是否能提升可模拟性。

实验结果

研究问题

• RQ1 LLM生成的自然语言解释是否能使人类正确推断模型在反事实输入下的行为？
• RQ2 人类基于解释的推理在多样化反事实输入下与实际模型输出的精确度如何比较？
• RQ3 解释的泛化性——通过相关反事实的多样性衡量——是否与其支持准确推理的能力相关？
• RQ4 解释的合理性（由人类评分）与反事实可模拟性（精确度）之间是否存在相关性？
• RQ5 与Post-Hoc解释相比，Chain-of-Thought解释方法是否能显著提升可模拟性？

主要发现

• GPT-4和GPT-3.5的解释表现出较低的模拟精确度，在二元分类任务中对反事实输入的预测准确率仅为80%。
• 模拟精确度与人类合理性评分之间无相关性，表明优化人类认可度（如通过RLHF）可能无法提升可模拟性。
• Chain-of-Thought解释在反事实可模拟性方面并未显著优于Post-Hoc解释。
• 泛化性指标能够捕捉相关反事实的多样性，例如“穆斯林不食用猪肉”这一解释生成的反事实比“人类不食用肉类”更丰富多样。
• 在案例研究中，GPT-4解释称“在穆斯林占多数的国家，猪肉不常被食用”，导致人类预期对“在丹吉尔是否难以找到五花肉？”的问题应回答“是”，但GPT-4实际回答为“否”，显示出不一致。
• 结果表明，即使解释在事实和逻辑上正确，也可能误导人类形成对LLM行为的错误心理模型。