[论文解读] Language Modeling for Formal Mathematics

Markus N. Rabe, Dennis Lee+2 more|arXiv (Cornell University)|Jun 8, 2020

Natural Language Processing Techniques参考文献 1被引用 3

一句话总结

本文提出了一种新颖的跳跃树语言建模任务，用于形式化数学陈述，以提升人工智能模型的逻辑推理能力。该方法在类型推断和等式补全等推理任务中优于标准语言建模，同时使模型能够生成新颖且有用的猜想。

ABSTRACT

We examine whether language modeling applied to mathematical formulas enables logical reasoning. We suggest several logical reasoning tasks that can be used to evaluate language models trained on formal mathematical statements, such as type inference, suggesting missing assumptions and completing equalities. To train language models for formal mathematics, we propose a novel skip-tree task, which outperforms standard language modeling tasks on our reasoning benchmarks. We also analyze the models' ability to formulate new conjectures by measuring how often the predictions that do not fit the ground truth or any training data turn out to be true and useful statements.

研究动机与目标

• 探究在形式化数学公式上进行语言建模是否能使人工智能模型具备逻辑推理能力。
• 设计并评估新型推理任务，如类型推断、缺失假设建议和等式补全。
• 提出一种新颖的跳跃树训练目标，以提升在形式化数学推理基准上的表现。
• 评估模型生成训练数据之外的新颖、有用数学猜想的能力。
• 分析与真实值或训练数据不同的预测结果的实用性。

提出的方法

• 引入一种跳跃树任务，训练语言模型通过跳过公式树中的中间节点来预测数学表达式。
• 使用来自证明助手的形式化数学陈述作为训练数据，以确保逻辑正确性。
• 设计推理评估任务：类型推断、缺失假设建议和等式补全。
• 使用标准语言建模和所提出的跳跃树目标对模型进行训练，以进行对比。
• 通过检查分布外预测是否在数学上有效且有用，来衡量猜想的质量。
• 在推理基准上评估模型性能，并比较跳跃树与标准语言建模的表现。

实验结果

研究问题

• RQ1 在形式化数学公式上训练的语言模型能否执行类型推断等逻辑推理任务？
• RQ2 所提出的跳跃树训练目标是否在形式化数学推理任务上优于标准语言建模？
• RQ3 模型在多大程度上能通过预测生成新颖、正确且有用的数学猜想？
• RQ4 与真实值或训练数据不同的预测中有多少是有效的数学表达式？
• RQ5 训练目标设计对形式化数学中推理能力的影响如何？

主要发现

• 跳跃树训练目标在所有形式化数学推理基准上显著优于标准语言建模。
• 采用跳跃树目标训练的模型在类型推断、提示缺失假设和等式补全任务中表现更优。
• 相当比例的偏离真实值或训练数据的预测结果被发现是数学上有效且有用的猜想。
• 生成新颖猜想的能力表明，模型捕捉到了形式化数学中的深层结构模式。
• 结果表明，跳跃树训练不仅提升了推理准确性，还增强了在形式化数学推理中的创造性发现能力。
• 本研究证实，当结合特定任务的训练目标时，对形式化公式进行语言建模可以支持逻辑推理。