[论文解读] Let's Do a Thought Experiment: Using Counterfactuals to Improve Moral Reasoning

Xiao Ma, Swaroop Mishra+3 more|arXiv (Cornell University)|Jun 25, 2023

Adversarial Robustness in Machine LearningComputer Science被引用 3

一句话总结

本文提出了一种名为思维实验提示（Thought Experiments prompting）的新框架，通过反事实推理来提升语言模型的道德推理能力。通过在回答前指示模型生成多个道德反事实问题，该方法在 MMLU 道德情景任务上的准确率相比零-shot 基线提升了 9–16%，而使用五组 few-shot 微调示例时准确率可达 80%。

ABSTRACT

Language models still struggle on moral reasoning, despite their impressive performance in many other tasks. In particular, the Moral Scenarios task in MMLU (Multi-task Language Understanding) is among the worst performing tasks for many language models, including GPT-3. In this work, we propose a new prompting framework, Thought Experiments, to teach language models to do better moral reasoning using counterfactuals. Experiment results show that our framework elicits counterfactual questions and answers from the model, which in turn helps improve the accuracy on Moral Scenarios task by 9-16% compared to other zero-shot baselines. Interestingly, unlike math reasoning tasks, zero-shot Chain-of-Thought (CoT) reasoning doesn't work out of the box, and even reduces accuracy by around 4% compared to direct zero-shot. We further observed that with minimal human supervision in the form of 5 few-shot examples, the accuracy of the task can be improved to as much as 80%.

研究动机与目标

• 为解决语言模型在道德推理任务中持续存在的失败问题，特别是在 MMLU 道德情景基准上的表现。
• 探究反事实思维（受人类思维实验启发）是否能够超越标准思维链提示，在模型推理方面带来提升。
• 开发一种提示框架，通过道德反事实问题激发多样化的推理路径，从而提升模型与人类道德标准的一致性。
• 评估 Thought Experiments prompting 方法的零样本和 few-shot 变体在道德推理任务中的有效性。
• 探究为何标准的零样本思维链在道德推理中失效（而数学推理中有效），并提出更有效的替代方案。

提出的方法

• Thought Experiments prompting 框架要求语言模型在回答之前，为每个情景生成多个详细的道德反事实问题。
• 对于每个情景，模型被提示探索‘如果……会怎样’的变体——例如意图、同意或后果的变化——以探究其道德影响。
• 该方法通过要求模型考虑其他结果、许可情况和正当理由，强调发散性推理路径。
• 该框架在零样本和 few-shot 设置下均适用，few-shot 变体中人类监督极少。
• 通过分析在不同假设条件下行为是否仍具道德可接受性，使用反事实问题来评估道德许可性。
• 最终答案仅在全面探索多个道德反事实问题之后得出，重点在于识别道德冲突和提供正当理由。

实验结果

研究问题

• RQ1 通过思维实验进行反事实推理，能否提升语言模型在道德推理任务中的表现？
• RQ2 为何标准的零样本思维链在道德推理中失效（而数学推理中有效）？
• RQ3 Thought Experiments prompting 相较于其他零样本和 few-shot 基线，在 MMLU 道德情景基准上的有效性如何？
• RQ4 在该框架下，极少量的人工监督（例如五个 few-shot 示例）能在多大程度上提升道德推理的准确率？
• RQ5 探索多个假设情景是否能带来比线性推理路径更一致且更准确的道德判断？

主要发现

• 与其它零样本基线相比，Thought Experiments prompting 在 MMLU 道德情景任务上的准确率提升了 9–16%。
• 与直接的零样本提示相比，零样本思维链推理使准确率下降约 4%，表明其在道德推理中无效。
• 仅使用五个 few-shot 示例，该框架在道德情景任务上的准确率最高达到 80%，展示了强大的 few-shot 泛化能力。
• 该方法成功激发了模型生成多样化的反事实问题和答案，这些对提升道德判断准确率起到了关键作用。
• 对多个假设情景的探索使模型能够更有效地识别道德冲突并更合理地为结论提供正当理由，优于线性推理路径。
• 结果表明，道德推理更受益于发散性、反事实的探索，而非顺序性的线性推理路径。