[论文解读] Inductive or Deductive? Rethinking the Fundamental Reasoning Abilities of LLMs

Kewei Cheng, Jingfeng Yang+10 more|arXiv (Cornell University)|Jul 31, 2024

Law, AI, and Intellectual Property被引用 4

一句话总结

该论文提出SolverLearner框架，通过仅利用上下文中的示例来训练大型语言模型（LLMs）推断输入-输出映射函数，从而隔离并评估LLMs纯粹的归纳推理能力。尽管其归纳推理表现接近完美（ACC ≈ 1），LLMs在演绎推理方面，尤其是在反事实推理任务中，表现出显著的薄弱，揭示了其推理能力中的关键不对称性。

ABSTRACT

Reasoning encompasses two typical types: deductive reasoning and inductive reasoning. Despite extensive research into the reasoning capabilities of Large Language Models (LLMs), most studies have failed to rigorously differentiate between inductive and deductive reasoning, leading to a blending of the two. This raises an essential question: In LLM reasoning, which poses a greater challenge - deductive or inductive reasoning? While the deductive reasoning capabilities of LLMs, (i.e. their capacity to follow instructions in reasoning tasks), have received considerable attention, their abilities in true inductive reasoning remain largely unexplored. To investigate into the true inductive reasoning capabilities of LLMs, we propose a novel framework, SolverLearner. This framework enables LLMs to learn the underlying function (i.e., $y = f_w(x)$), that maps input data points $(x)$ to their corresponding output values $(y)$, using only in-context examples. By focusing on inductive reasoning and separating it from LLM-based deductive reasoning, we can isolate and investigate inductive reasoning of LLMs in its pure form via SolverLearner. Our observations reveal that LLMs demonstrate remarkable inductive reasoning capabilities through SolverLearner, achieving near-perfect performance with ACC of 1 in most cases. Surprisingly, despite their strong inductive reasoning abilities, LLMs tend to relatively lack deductive reasoning capabilities, particularly in tasks involving ``counterfactual'' reasoning.

研究动机与目标

• 为解决LLM研究中归纳与演绎推理缺乏明确区分的问题。
• 探究归纳与演绎推理中哪一种对LLMs构成更大挑战。
• 开发一种能够将基于LLM的演绎推理与纯粹的归纳推理相隔离的框架。
• 通过在不同推理焦点下保持任务一致，评估LLMs真正的归纳推理能力。
• 揭示LLM推理能力中的不对称性，特别是在反事实推理场景中。

提出的方法

• 提出SolverLearner框架，使LLMs能够仅通过上下文中的示例学习输入到输出的潜在函数 $ y = f_w(x) $。
• 设计对比实验，使用一致的任务（如算术）在四种方法间进行，逐步从纯演绎推理过渡到纯归纳推理。
• 以输入-输出（IO）提示作为归纳推理的基线，但识别其在分离归纳与演绎推理方面的局限性。
• 通过移除显式的函数定义，要求模型从少量示例中推断映射关系，从而实现对归纳推理的隔离。
• 使用准确率（ACC）评估在包括九进制和十进制算术在内的多种推理任务中的表现。
• 对比不同LLMs（如GPT-3.5与GPT-4）的结果，以评估模型规模对归纳推理能力的影响。

实验结果

研究问题

• RQ1 LLMs在 few-shot 学习中表现优异，是否真正反映了归纳推理能力，还是与演绎推理混合的结果？
• RQ2 LLMs在纯粹归纳推理中的表现与在演绎推理中的表现相比如何？
• RQ3 模型规模在决定归纳推理能力方面起到什么作用？
• RQ4 为何LLMs尽管具备强大的归纳能力，却在反事实推理任务中表现困难？
• RQ5 像SolverLearner这样的框架能否有效隔离并评估LLMs中的纯粹归纳推理？

主要发现

• 在SolverLearner框架下评估时，LLMs在大多数任务中实现了接近完美的归纳推理表现，准确率（ACC）为1。
• 尽管归纳推理能力出色，LLMs在演绎推理方面表现明显较弱，尤其是在九进制算术等反事实推理任务中。
• GPT-4在所有任务中均表现出一致的归纳推理能力（ACC = 1），而GPT-3.5在多个案例中未能学习到正确映射，表明其对模型规模存在依赖性。
• 该框架表明，当函数可唯一确定时（如由两点确定的线性函数），归纳推理能力不受少样本示例数量的限制。
• 研究发现存在关键不对称性：LLMs在归纳推理方面能力极强，但在非标准或反事实场景下的演绎推理中表现困难。
• 结果表明，当前的提示技术如思维链（Chain-of-Thought, COT）可能无法弥合演绎推理能力的差距，因为这些技术主要设计用于提升演绎推理表现，而非评估归纳推理能力。