[论文解读] A Survey of Deep Learning for Mathematical Reasoning

Pan Lu, Liang Qiu+3 more|arXiv (Cornell University)|Dec 20, 2022

Intelligent Tutoring Systems and Adaptive Learning被引用 7

一句话总结

本综述全面回顾了过去十年深度学习在数学推理领域的研究进展，将任务、数据集和方法整合为统一的分类体系。它评估了现有基准和模型，强调了预训练语言模型与少样本上下文学习的最新进展，并指出了数学推理人工智能领域中的关键挑战与未来研究方向。

ABSTRACT

Mathematical reasoning is a fundamental aspect of human intelligence and is applicable in various fields, including science, engineering, finance, and everyday life. The development of artificial intelligence (AI) systems capable of solving math problems and proving theorems has garnered significant interest in the fields of machine learning and natural language processing. For example, mathematics serves as a testbed for aspects of reasoning that are challenging for powerful deep learning models, driving new algorithmic and modeling advances. On the other hand, recent advances in large-scale neural language models have opened up new benchmarks and opportunities to use deep learning for mathematical reasoning. In this survey paper, we review the key tasks, datasets, and methods at the intersection of mathematical reasoning and deep learning over the past decade. We also evaluate existing benchmarks and methods, and discuss future research directions in this domain.

研究动机与目标

• 为深度学习中的数学推理任务提供系统化的分类体系，涵盖数学应用题、定理证明、几何问题求解以及定量推理等。
• 评估不同数学推理任务中的现有基准和数据集，突出其优势与局限性。
• 分析深度学习方法在数学推理中的演进历程——从序列到序列模型到图神经网络与预训练语言模型。
• 探讨上下文学习与思维链提示在提升模型在数学推理任务中性能方面的作用。
• 识别在开发更稳健、可泛化且可解释的数学推理人工智能系统方面仍存在的开放性挑战与未来研究方向。

提出的方法

• 将数学推理划分为五大核心任务：数学应用题求解、定理证明（形式化与非形式化）、几何问题求解（带标注与不带标注）、数学问答，以及其他定量推理（如科学、金融、编程等）。
• 回顾了20余个关键数据集，涵盖上述任务，如MathQA、SVAMP、CoqGym、Geometry3K、DROP和ScienceQA，提供其规模、模态与标注类型等详细统计数据。
• 将深度学习模型分为三大类：(1) 序列到序列模型（如DNS、AnsRat）；(2) 基于图的模型（如GTS、Graph2Tree）；(3) 注意力机制模型（如Math-EN、GROUP-ATT）。
• 分析预训练语言模型（如GenBERT、Minerva）及其通过自监督学习与微调策略在数学推理中的适应方法。
• 研究上下文学习技术，包括少样本思维链提示（如Few-shot-CoT）与自一致性方法，以提升推理泛化能力。
• 提出一种结构化分类体系（图1），整合任务、数据集与方法，以指导未来研究与模型开发。

实验结果

研究问题

• RQ1 数学推理任务的主要类别有哪些？它们在输入模态、标注方式与推理复杂度方面有何差异？
• RQ2 从早期的序列到序列模型到现代图结构与Transformer架构，深度学习模型在架构与训练策略上经历了怎样的演变？
• RQ3 相较于监督微调，预训练语言模型与上下文学习在数学推理基准上的性能提升程度如何？
• RQ4 当前数据集与基准在评估数学推理的泛化能力与鲁棒性方面存在哪些关键局限？
• RQ5 在开发可解释、可靠且可泛化的数学推理人工智能系统方面，仍存在哪些开放性挑战？

主要发现

• 2018年数学推理领域深度学习相关论文数量约为10篇，到2022年增长至66篇，表明研究增长迅速。
• 如Minerva与GenBERT等预训练语言模型在数学推理基准上表现强劲，尤其在结合上下文学习时效果更优。
• 基于图与树结构的模型（如Graph2Tree、AST-Dec）在复杂数学应用题上优于标准序列到序列模型，因其能更好地捕捉符号与结构关系。
• 采用思维链提示的上下文学习（如Few-shot-CoT）显著提升了MathQA与GSM8K等任务上的零样本泛化能力。
• 如ScienceQA（21,208个样本）与Geometry3K（1,000多个带标注的几何问题）等数据集支持多模态与多领域推理，但其规模与多样性仍显不足。
• 尽管已有进展，模型在分布外泛化、罕见操作处理以及复杂图表或多步逻辑链推理方面仍存在显著困难。