[论文解读] Mathematical Reasoning in Latent Space

Dennis Lee, Christian Szegedy+3 more|arXiv (Cornell University)|Sep 26, 2019

Topic Modeling参考文献 20被引用 13

一句话总结

本文提出了一种方法，通过神经网络在固定维数的潜在空间内完全实现多步数学推理。通过训练图神经网络来预测重写成功与否以及重写公式的潜在表征，该模型在未直接对重写公式进行训练的情况下，实现了四步推理的非平凡性能，证明了潜在空间中近似演绎的可行性。

ABSTRACT

We design and conduct a simple experiment to study whether neural networks can perform several steps of approximate reasoning in a fixed dimensional latent space. The set of rewrites (i.e. transformations) that can be successfully performed on a statement represents essential semantic features of the statement. We can compress this information by embedding the formula in a vector space, such that the vector associated with a statement can be used to predict whether a statement can be rewritten by other theorems. Predicting the embedding of a formula generated by some rewrite rule is naturally viewed as approximate reasoning in the latent space. In order to measure the effectiveness of this reasoning, we perform approximate deduction sequences in the latent space and use the resulting embedding to inform the semantic features of the corresponding formal statement (which is obtained by performing the corresponding rewrite sequence using real formulas). Our experiments show that graph neural networks can make non-trivial predictions about the rewrite-success of statements, even when they propagate predicted latent representations for several steps. Since our corpus of mathematical formulas includes a wide variety of mathematical disciplines, this experiment is a strong indicator for the feasibility of deduction in latent space in general.

研究动机与目标

• 探究神经网络是否可以在不依赖显式符号执行的情况下，在固定维数的潜在空间中执行近似数学推理。
• 评估潜在表征在多个重写步骤中是否能保留语义信息，从而实现在不访问原始公式的情况下进行推理。
• 开发一种简单且可扩展的评估框架，通过重写成功预测来衡量潜在空间中推理质量。
• 探索潜在空间推理作为更快、更灵活的自动定理证明系统基础的潜力。

提出的方法

• 训练图神经网络，基于公式的句法和语义结构，将数学定理嵌入1024维潜在空间。
• 仅使用公式的潜在表征和重写参数，训练模型预测给定重写规则是否会在公式上成功。
• 对于成功的重写，还预测结果公式的潜在表征，从而实现端到端的潜在空间传播。
• 通过从先前预测的嵌入中递归预测未来潜在状态，实现多步推理，而无需访问中间公式。
• 结合直接计算的嵌入和预测的嵌入序列，评估最多四步重写步骤的推理质量。
• 通过重写成功预测准确率、嵌入相似性（l²距离）以及与随机基线和使用基线的比较来衡量性能。

实验结果

研究问题

• RQ1 神经网络是否能够在纯固定维数潜在空间中执行非平凡的多步数学推理？
• RQ2 潜在表征在多个重写步骤中保留语义信息的程度如何？
• RQ3 当推理完全在潜在空间中进行时，模型预测重写成功的能力是否会显著下降？
• RQ4 仅在原始定理上进行训练的模型，是否能够在未对重写公式进行显式微调的情况下泛化到对重写公式的推理？

主要发现

• 即使在完全在潜在空间中进行四步推理后，该模型仍保持显著的重写成功预测能力，尽管未对重写公式进行直接训练。
• 预测的潜在表征与真实嵌入之间的距离始终显著小于随机嵌入，如多步中持续改善的l²距离所显示。
• 多步预测模型的性能逐渐下降，但仍显著高于随机基线，表明语义信息得到了有效传播。
• 图4中的“Pred (Multi-step)”曲线表明，该模型在超过两步后仍保持强大的推理能力，性能虽有可测量的下降但不占主导。
• 图4中的“True”曲线表明，性能下降主要源于模型无法完美预测未来状态，而非潜在空间本身导致的误差累积。