[论文解读] First Experiments with Neural Translation of Informal to Formal Mathematics

Qingxiang Wang, Cezary Kaliszyk+1 more|arXiv (Cornell University)|May 10, 2018

Mathematics, Computing, and Information Processing参考文献 16被引用 9

一句话总结

本论文首次将神经机器翻译（NMT）应用于自动将非正式的LaTeX数学语句转换为正式的Mizar语言。使用由947,231对合成的非正式-正式语句训练的Luong等人提出的seq2seq NMT模型，最佳配置在测试数据上实现了65.73%的完美翻译准确率，展示了利用深度学习实现数学自动化形式化的强大潜力。

ABSTRACT

We report on our experiments to train deep neural networks that automatically translate informalized LaTeX-written Mizar texts into the formal Mizar language. To the best of our knowledge, this is the first time when neural networks have been adopted in the formalization of mathematics. Using Luong et al.'s neural machine translation model (NMT), we tested our aligned informal-formal corpora against various hyperparameters and evaluated their results. Our experiments show that our best performing model configurations are able to generate correct Mizar statements on 65.73\% of the inference data, with the union of all models covering 79.17\%. These results indicate that formalization through artificial neural network is a promising approach for automated formalization of mathematics. We present several case studies to illustrate our results.

研究动机与目标

• 探索使用深度神经网络自动将非正式数学文本翻译为正式、可机器验证的Mizar证明的可行性。
• 通过Mizar到LaTeX的非正式化方法生成合成训练数据，以解决大规模对齐的非正式-正式数学语料库缺乏的问题。
• 评估最先进神经机器翻译模型是否能够学习自然语言数学与正式证明语言之间的复杂句法和语义映射。
• 评估神经网络作为数学与科学领域中自动化形式化的可扩展解决方案的潜力。

提出的方法

• 采用基于编码器-解码器架构与注意力机制的Luong等人提出的神经机器翻译（NMT）框架。
• 预处理了通过反转期刊《Formalized Mathematics》中使用的标准Mizar-to-LaTeX翻译流程生成的947,231对对齐的Mizar-LaTeX语料。
• 使用双向LSTM编码器和带束搜索推理的指针-生成解码器训练seq2seq模型。
• 在多个配置中优化超参数，包括词汇表大小、嵌入维度和隐藏单元数量。
• 使用BLEU分数、困惑度和与标准正式Mizar语句的精确匹配率评估模型性能。
• 通过消融研究和案例分析评估翻译质量及在不同数学领域中的泛化能力。

实验结果

研究问题

• RQ1 神经机器翻译模型能否以高准确率将非正式LaTeX数学语句映射为正式Mizar语法？
• RQ2 模型性能如何随隐藏单元大小和注意力机制等不同超参数而变化？
• RQ3 神经模型在未见过的数学语句上能多大程度上实现泛化，这些语句在训练期间未被见过？
• RQ4 即使句法不同，模型生成的翻译在语义上是否与目标正式语句等价？
• RQ5 神经翻译能否扩展到完整的数学证明以及超出孤立语句的更大语料库？

主要发现

• 最佳性能模型配置在105,247个保留的测试对上实现了65.73%的精确匹配率，表明其在形式化任务上具有强大的泛化能力。
• 当结合多个模型配置的预测结果时，联合覆盖了79.17%的测试案例并实现完美翻译，表明模型集成可提高鲁棒性。
• 模型在推理过程中成功学习了复杂的结构模式，如正确的括号匹配和标识符标记。
• 即使被分类为不完美的翻译，通常仍保持语义正确性，表明可通过ATP系统评估语义等价性。
• 从Mizar到LaTeX的翻译也取得了有意义的结果（51.61%的相同语句），尽管质量低于反向方向。
• 案例研究显示，随着训练轮次的推进，翻译质量逐步提高，模型已学会从非正式LaTeX输入生成正确的正式语法。