[论文解读] Limitations of Language Models in Arithmetic and Symbolic Induction

Qian Jing, Hong Wang+3 more|arXiv (Cornell University)|Aug 9, 2022

Topic Modeling被引用 4

一句话总结

本文研究了大型语言模型（LLMs）在符号操作任务（如算术加法、复制和序列反转）中的局限性，特别是在分布外（OOD）设置和高重复性条件下的表现。本文提出了一种新方法——带有导师的LMs，通过显式推理示范进行逐步教学，使模型在标准LLMs失败的分布外和重复性输入上实现了100%的准确率。

ABSTRACT

Recent work has shown that large pretrained Language Models (LMs) can not only perform remarkably well on a range of Natural Language Processing (NLP) tasks but also start improving on reasoning tasks such as arithmetic induction, symbolic manipulation, and commonsense reasoning with increasing size of models. However, it is still unclear what the underlying capabilities of these LMs are. Surprisingly, we find that these models have limitations on certain basic symbolic manipulation tasks such as copy, reverse, and addition. When the total number of symbols or repeating symbols increases, the model performance drops quickly. We investigate the potential causes behind this phenomenon and examine a set of possible methods, including explicit positional markers, fine-grained computation steps, and LMs with callable programs. Experimental results show that none of these techniques can solve the simplest addition induction problem completely. In the end, we introduce LMs with tutor, which demonstrates every single step of teaching. LMs with tutor is able to deliver 100% accuracy in situations of OOD and repeating symbols, shedding new insights on the boundary of large LMs in induction.

研究动机与目标

• 调查大型语言模型（LLMs）为何在基础符号操作任务（如复制、反转和加法）上失败，特别是在分布外（OOD）或高重复性条件下。
• 识别这些失败的根本原因，特别是处理重复符号和在生成过程中保持位置感知的困难。
• 评估现有缓解策略（细粒度计算步骤、位置标记和可调用程序）在提升LLM在符号任务上泛化能力方面的效果。
• 提出并验证一种新方法——带有导师的LMs，通过结构化、分步教学实现对分布外和重复性符号归纳任务的稳健、100%准确性能。

提出的方法

• 引入“带有导师的LMs”——一种训练和推理范式，其中模型通过15个分步推理示例进行提示，以结构化、原子化的方式演示每项操作（如移动、复制、反转）。
• 使用显式、人类可读的推理步骤（例如，“将第1个元素移动到第3个位置”）引导模型完成符号操作，模拟导师的教学角色。
• 采用包含输入和中间步骤的提示格式，使用操作如“rmov”（反转移动）或“lmov”（左移）来追踪变换过程中的元素位置。
• 在加法、复制和反转等多个任务上，将该导师方法与标准 few-shot 提示、细粒度步骤、位置标记（隐式或显式）以及可调用程序进行对比。
• 在分布内数据（最多5个元素或数字）上训练模型，并在分布外数据（最多30个元素或数字）且重复度高的情况下评估其泛化能力。
• 使用T5、GPT-3和DeBERTa模型（带或不带预训练）以隔离相对位置嵌入等架构组件的影响。

实验结果

研究问题

• RQ1 为何大型语言模型在简单符号操作任务（如复制和反转序列）上失败，特别是在输入包含重复符号或超出训练分布时？
• RQ2 细粒度计算步骤或显式位置标记在多大程度上能提升LLM在符号归纳任务上的泛化能力？
• RQ3 带有可调用程序的LMs或与程序无关的方法能否提升算术和符号推理中的分布外泛化能力？
• RQ4 结构化、分步教学方法（即“带有导师的LMs”）是否能使LLMs在标准提示失败的分布外和高重复性符号任务中实现100%准确率？

主要发现

• 标准LLMs如GPT-3和T5在加法和复制任务上对分布内输入表现出高准确率，但在分布外输入上显著下降，尤其是在存在重复数字或长序列时。
• 即使使用细粒度步骤或显式位置标记，T5和DeBERTa在反转任务中仍无法泛化到20–30个以上的元素，表明其位置感知能力有限。
• 使用相对位置嵌入的DeBERTa在符号任务上过拟合迅速，在2000步内即达到100%的分布内准确率，但在分布外数据上失败，表明其泛化能力差。
• “带有导师的LMs”方法在所有分布外和高重复性设置下的复制、反转和加法任务中均实现了100%准确率，优于所有基线方法。
• 可调用程序在加法任务中提升了分布外性能，表明必须显式建模基本符号操作才能实现稳健推理。
• 本研究揭示，即使在规模扩大后，当前LLMs仍缺乏可靠的定位和符号归纳能力，且结构化教学对于克服这些局限性至关重要。