[论文解读] IsarStep: a Benchmark for High-level Mathematical Reasoning

Wenda Li, Lei Yu+2 more|arXiv (Cornell University)|Jun 13, 2020

Natural Language Processing Techniques参考文献 41被引用 8

一句话总结

本文提出了 IsarStep，一个基于来自《形式化证明档案》（Archive of Formal Proofs）的真实形式化证明的高层次数学推理基准。该研究将任务定义为生成人类可读定理证明中的中间命题，评估了神经序列到序列模型（包括一种新型分层变压器）的表现，结果表明这些模型能够捕捉复杂的数学推理过程，其中分层模型在测试集上达到了25%的准确率。

ABSTRACT

A well-defined benchmark is essential for measuring and accelerating research progress of machine learning models. In this paper, we present a benchmark for high-level mathematical reasoning and study the reasoning capabilities of neural sequence-to-sequence models. We build a non-synthetic dataset from the largest repository of proofs written by human experts in a theorem prover. The dataset has a broad coverage of undergraduate and research-level mathematical and computer science theorems. In our defined task, a model is required to fill in a missing intermediate proposition given surrounding proofs. This task provides a starting point for the long-term goal of having machines generate human-readable proofs automatically. Our experiments and analysis reveal that while the task is challenging, neural models can capture non-trivial mathematical reasoning. We further design a hierarchical transformer that outperforms the transformer baseline.

研究动机与目标

• 建立一个非合成的基准，用于评估神经模型在高层次数学推理能力方面的能力。
• 研究序列到序列模型在形式化证明中生成中间命题的能力。
• 通过在更高层次上建模推理过程，弥合自动定理证明与人类可读证明生成之间的差距。
• 为未来在自动化、人类可读证明合成方面的研究提供基础。

提出的方法

• 该基准由从《形式化证明档案》（AFP）和 Isabelle/HOL 标准库中挖掘出的 204,000 个形式化证明的引理构建而成。
• 该任务被表述为一个序列到序列的生成问题：给定一个证明上下文，预测一个缺失的中间命题。
• 提出一种分层变压器（HAT），其局部层用于命题编码，全局层用于建模命题之间的关系。
• 该模型使用动态大小的表示矩阵来表示命题，而非固定大小的向量，以保留结构信息。
• 由于在证明类别内命题的顺序并非必需，因此省略了位置编码。
• 基线模型包括带注意力机制的标准序列到序列模型和标准变压器模型，用于对比。

实验结果

研究问题

• RQ1 神经序列到序列模型能否学会在高层次数学证明中生成有意义的中间命题？
• RQ2 与标准变压器相比，不同神经架构（尤其是分层变压器）在这一复杂推理任务上的表现如何？
• RQ3 模型在多大程度上能够捕捉非平凡的数学推理，例如集合、子集和成员关系之间的逻辑依赖？
• RQ4 模型能否泛化到典型复杂证明中常见的长输入序列？
• RQ5 有哪些证据表明模型学习到了数学概念的语义有意义的表示？

主要发现

• 神经模型在测试集上的准确率为15%至25%，表明该任务具有挑战性但可解。
• 分层变压器在长源序列上优于标准变压器和带有注意力机制的RNN基线模型，表现尤为突出。
• 模型嵌入显示，语义上相近的数学概念在余弦空间中聚集，表明模型具备语义学习能力。
• 模型能够推理复杂的逻辑关系，如集合成员关系和子集包含关系，甚至能执行人类也难以完成的多步推理。
• 模型能够推断出在证明推导中逻辑有效且有用的中间命题，表明其推理能力超越了模式匹配。
• 结果表明，对形式化证明进行预训练可能进一步提升性能，尽管这一点留待未来工作。