[论文解读] Leveraging the Inductive Bias of Large Language Models for Abstract Textual Reasoning

Christopher Michael Rytting, David Wingate|arXiv (Cornell University)|Oct 5, 2021

Natural Language Processing Techniques被引用 5

一句话总结

本论文表明，像T5这样的大型语言模型（LLMs）可作为训练符号推理引擎的强大归纳偏置，从而在抽象文本推理任务（如物体操作和导航）中实现少样本泛化。通过在结构化推理数据集上微调，该模型展现出组合学习能力，能够外推至新场景，并通过其权重中编码的隐式世界知识实现类人泛化。

ABSTRACT

Large natural language models (such as GPT-3 or T5) demonstrate impressive abilities across a range of general NLP tasks. Here, we show that the knowledge embedded in such models provides a useful inductive bias, not just on traditional NLP tasks, but also in the nontraditional task of training a symbolic reasoning engine. We observe that these engines learn quickly and generalize in a natural way that reflects human intuition. For example, training such a system to model block-stacking might naturally generalize to stacking other types of objects because of structure in the real world that has been partially captured by the language describing it. We study several abstract textual reasoning tasks, such as object manipulation and navigation, and demonstrate multiple types of generalization to novel scenarios and the symbols that comprise them. We also demonstrate the surprising utility of extit{compositional learning}, where a learner dedicated to mastering a complicated task gains an advantage by training on relevant simpler tasks instead of jumping straight to the complicated task.

研究动机与目标

• 探究大型语言模型（LLMs）是否可作为训练符号推理引擎的有效归纳偏置。
• 评估超越标准训练/测试划分的泛化能力，包括基数、物体和词性泛化。
• 研究组合学习的优势，即先学习简单子任务，再将其组合为复杂复合任务。
• 评估大型语言模型在在多大程度上编码了支持直觉推理的隐式世界知识。
• 证明大型语言模型能够从自然语言描述中学习并泛化符号规则，从而弥合连接主义与符号主义人工智能之间的鸿沟。

提出的方法

• 在一系列涉及物体与状态符号操作的抽象文本推理任务上微调T5模型。
• 设计具有系统性变化的推理数据集，以测试在多个泛化轴上的内插与外推能力。
• 通过课程学习策略，先在简单子任务上进行训练，再将其组合为复杂复合任务。
• 使用零样本和少样本评估，测量模型在未见物体类型、关系和任务结构上的泛化能力。
• 通过分布外性能分析模型行为，评估规则学习与组合推理能力。
• 采用结构化提示和序列到序列生成，将自然语言描述映射为符号动作。

实验结果

研究问题

• RQ1 大型语言模型在多大程度上能泛化到符号推理任务中未见的物体类型和关系？
• RQ2 在简单子任务上进行训练在多大程度上提升了复杂复合推理任务上的性能与样本效率？
• RQ3 大型语言模型能否学习并组合不同的推理技能（例如操作与导航），以解决新的、未见过的复合任务？
• RQ4 预训练大型语言模型的归纳偏置在多大程度上支持抽象推理中的类人泛化？
• RQ5 当面对系统性分布偏移时，模型性能如何变化？这揭示了其推理机制的哪些特征？

主要发现

• 该模型在多个轴上均实现了强大的少样本泛化能力，包括物体泛化与基数外推，表明预训练大型语言模型提供了稳健的归纳偏置。
• 与直接在完整任务上进行训练相比，组合学习显著提升了复杂任务上的样本效率与最终性能。
• 该模型对未见的物体类型和关系实现了自然的泛化，表明嵌入在大型语言模型权重中的世界知识支持了直觉推理。
• 即使在测试未见的符号与规则组合时，性能依然保持较高水平，表明模型学习的是抽象的、组合性的规则，而非记忆模式。
• 该模型的推理行为与人类直觉一致，例如能正确将积木堆叠规则泛化到其他物体类型，这是由于语言中结构模式的提示作用。
• 系统性的数据集设计使得泛化能力得以精确测量，结果表明模型的推理对分布偏移敏感，其行为与符号推理一致。