[论文解读] Are LLMs the Master of All Trades? : Exploring Domain-Agnostic Reasoning Skills of LLMs

Shrivats Agrawal|arXiv (Cornell University)|Mar 22, 2023

Natural Language Processing Techniques被引用 5

一句话总结

本研究通过精心筛选的数据集和自然语言提示，评估了大语言模型（LLMs）在类比推理、空间推理和道德推理任务中的领域无关推理能力。结果显示，LLMs在类比推理和道德推理方面表现优异，但在空间推理方面存在显著困难，表明LLMs在各类推理类型中并非普遍具备强大能力。

ABSTRACT

The potential of large language models (LLMs) to reason like humans has been a highly contested topic in Machine Learning communities. However, the reasoning abilities of humans are multifaceted and can be seen in various forms, including analogical, spatial and moral reasoning, among others. This fact raises the question whether LLMs can perform equally well across all these different domains. This research work aims to investigate the performance of LLMs on different reasoning tasks by conducting experiments that directly use or draw inspirations from existing datasets on analogical and spatial reasoning. Additionally, to evaluate the ability of LLMs to reason like human, their performance is evaluted on more open-ended, natural language questions. My findings indicate that LLMs excel at analogical and moral reasoning, yet struggle to perform as proficiently on spatial reasoning tasks. I believe these experiments are crucial for informing the future development of LLMs, particularly in contexts that require diverse reasoning proficiencies. By shedding light on the reasoning abilities of LLMs, this study aims to push forward our understanding of how they can better emulate the cognitive abilities of humans.

研究动机与目标

• 探究LLMs是否能在类比、空间和道德推理等多样化推理领域中表现一致。
• 在结构化数据集和开放式自然语言问题上评估LLMs，以检验其类人推理能力。
• 识别LLM推理中的优势与劣势，以指导未来模型开发和实际部署。
• 基于SpartQA构建一个受控的空间推理数据集，用于LLMs的系统性评估。
• 比较不同LLMs（GPT-3 davinci-003 和 ChatGPT）在闭卷和对话格式下的推理任务表现。

提出的方法

• 使用BATS数据集中聚焦词汇语义的部分，创建一个包含200个填空式问题的受控类比推理基准。
• 基于物体排列的文本描述构建内部空间推理数据集，将其设计为文本蕴含任务，预测结果为真或假。
• 使用GPT-3 davinci-003进行闭卷、受控评估，使用ChatGPT进行开放式、对话式推理任务。
• 收集并评估关于类比和道德推理的自由形式自然语言问题，以评估其定性推理能力。
• 通过精确匹配评估封闭式任务的模型输出，通过定性评估处理开放式提示的响应。
• 所有任务采用一致的提示格式，将每个任务呈现为具有明确输入输出预期的推理挑战。

Figure 1: Spatial Reasoning: Visualization of Controlled Dataset Example

实验结果

研究问题

• RQ1 LLMs能否将其推理能力泛化到类比、空间和道德推理等不同推理领域？
• RQ2 LLMs在结构化、封闭式推理任务上的表现与在开放式、对话式推理提示上的表现有何差异？
• RQ3 LLMs在类比和道德推理中在多大程度上表现出类人推理能力，又在何处存在不足？
• RQ4 当前LLMs在空间推理方面存在哪些局限，尤其是在仅依赖文本输入的情况下？
• RQ5 不同推理类型之间是否存在推理能力的差异？若存在，可能的原因是什么？

主要发现

• LLMs在类比推理方面表现出色，在BATS数据集的词汇语义子集上取得了高准确率。
• LLMs在开放式自然语言问题中展现出一致且连贯的推理能力，例如通过类比解释复杂概念。
• LLMs在空间推理任务中表现显著困难，尤其是在受控数据集中，无法根据文本描述正确预测物体间的关系。
• 类比/道德推理与空间推理之间的性能差距表明，尽管LLMs具备强大的语言泛化能力，但其空间理解能力仍显不足。
• 在道德推理任务中，LLMs提供了细致且情境敏感的回应，体现了对伦理考量的考量，但因AI本质而避免表达个人立场。
• 对道德困境的定性回应表明，LLMs能够推理复杂的伦理权衡，但其答案受限于中立性以及缺乏个人价值观。

Figure 2: Spatial Reasoning: Visualization of the layout of house described via textual description