[论文解读] How FaR Are Large Language Models From Agents with Theory-of-Mind?

Pei Zhou, Aman Madaan+10 more|arXiv (Cornell University)|Oct 4, 2023

Topic Modeling被引用 6

一句话总结

本文提出了Thinking for Doing（T4D）——一种新型基准，用于评估大型语言模型（LLMs）是否能将心智理论推理转化为社交情境中的策略性行动。该研究提出了一种名为Foresee and Reflect（FaR）的零样本提示框架，通过围绕未来事件预测和行动反思来组织推理，将GPT-4在T4D上的表现从50%提升至71%，显著优于Chain-of-Thought和Self-Ask方法。

ABSTRACT

"Thinking is for Doing." Humans can infer other people's mental states from observations--an ability called Theory-of-Mind (ToM)--and subsequently act pragmatically on those inferences. Existing question answering benchmarks such as ToMi ask models questions to make inferences about beliefs of characters in a story, but do not test whether models can then use these inferences to guide their actions. We propose a new evaluation paradigm for large language models (LLMs): Thinking for Doing (T4D), which requires models to connect inferences about others' mental states to actions in social scenarios. Experiments on T4D demonstrate that LLMs such as GPT-4 and PaLM 2 seemingly excel at tracking characters' beliefs in stories, but they struggle to translate this capability into strategic action. Our analysis reveals the core challenge for LLMs lies in identifying the implicit inferences about mental states without being explicitly asked about as in ToMi, that lead to choosing the correct action in T4D. To bridge this gap, we introduce a zero-shot prompting framework, Foresee and Reflect (FaR), which provides a reasoning structure that encourages LLMs to anticipate future challenges and reason about potential actions. FaR boosts GPT-4's performance from 50% to 71% on T4D, outperforming other prompting methods such as Chain-of-Thought and Self-Ask. Moreover, FaR generalizes to diverse out-of-distribution story structures and scenarios that also require ToM inferences to choose an action, consistently outperforming other methods including few-shot in-context learning.

研究动机与目标

• 评估大型语言模型是否能够将心智理论推理与社交情境中的可执行决策相连接。
• 识别LLMs在未获显式提示的情况下无法基于隐含心理状态推理采取行动的核心挑战。
• 设计一种零样本提示框架，以基于心智理论增强LLM的行动选择推理能力。
• 测试所提出方法在标准虚假信念测试之外的多样化故事结构与社交情境中的泛化能力。

提出的方法

• 提出T4D，一种零样本评估范式，要求模型基于故事性社交情境中推断出的心理状态选择适当行动。
• 将ToMi基准中的故事改编为观察-行动配对，保留虚假信念结构以用于心智理论测试。
• 提出FaR（Foresee and Reflect），一种两阶段推理提示：首先预测未来事件（Foresee），然后评估行动有效性（Reflect）。
• 通过结构化提示引导模型识别隐含推论，并在选择行动前推理未来后果。
• 采用消融研究隔离Foresee与Reflect组件的贡献，验证其必要性。
• 在分布外的故事结构（D1, D2, D3）和Faux Pas情境中评估FaR，以测试其在标准ToMi故事之外的泛化能力。

Figure 1: Given observations , current social reasoning tasks ask models questions targeting specific inferences (left). We propose T4D to probe whether LLMs can decide proper actions using theory-of-mind as a situated agent (right). They key challenges in T4D are 1) models have to identify relevant

实验结果

研究问题

• RQ1 大型语言模型能否将心智理论推理转化为社交情境中的策略性行动，还是即使推理出正确的心理状态也无法采取行动？
• RQ2 在未明确提示的情况下，LLMs在基于推断信念选择行动时，其推理过程中的关键断层是什么，尤其是当推断未被显式提示时？
• RQ3 像FaR这样的结构化推理框架是否能提升需要心智理论的行动选择任务中的零样本性能？
• RQ4 FaR在多样化故事结构与社交情境（如Faux Pas或多人互动）中的泛化能力如何？
• RQ5 FaR对预见组件的质量是否敏感，噪声输入是否会降低其性能？

主要发现

• GPT-4在T4D基准上的准确率仅为50%，远低于人类表现（超过95%的一致性），表明尽管心智理论推理能力较强，但在行动选择方面仍存在显著差距。
• LLMs的主要挑战在于在无显式提示的情况下识别与心理状态相关的隐含推论，而非推理本身。
• FaR将GPT-4在T4D上的表现从50%提升至71%，优于Chain-of-Thought、Self-Ask和Tree-of-Thought方法。
• 消融研究显示，Foresee与Reflect两个组件均不可或缺，分别在缺失时导致性能下降17分与12分。
• FaR在分布外的故事结构（D1, D2, D3）上表现出有效的泛化能力，在所有测试模型与故事类型中均取得最高准确率。
• 在Faux Pas情境中，FaR使GPT-4的准确率达到76%，远超基线方法（如Self-Ask的43%），展现出对新型社交推理任务的强大泛化能力。

Figure 2: Task input comparison of ToMi that asks an inference question given observations and our converted T4D that requires models to choose an action