[论文解读] Towards Proof Synthesis Guided by Neural Machine Translation for Intuitionistic Propositional Logic

Taro Sekiyama, Akifumi Imanishi+1 more|arXiv (Cornell University)|Jun 20, 2017

Natural Language Processing Techniques参考文献 27被引用 7

一句话总结

本文提出了一种新颖的直觉型命题逻辑证明合成方法，将证明生成建模为神经机器翻译：通过训练一个序列到序列（seq2seq）模型，将命题标记翻译为证明项（λ-项）。尽管未进行超参数调优，该模型生成的证明在树编辑距离上接近正确证明，从而实现了高效的引导式证明搜索，优于暴力搜索方法。

ABSTRACT

Inspired by the recent evolution of deep neural networks (DNNs) in machine learning, we explore their application to PL-related topics. This paper is the first step towards this goal; we propose a proof-synthesis method for the negation-free propositional logic in which we use a DNN to obtain a guide of proof search. The idea is to view the proof-synthesis problem as a translation from a proposition to its proof. We train seq2seq, which is a popular network in neural machine translation, so that it generates a proof encoded as a $λ$-term of a given proposition. We implement the whole framework and empirically observe that a generated proof term is close to a correct proof in terms of the tree edit distance of AST. This observation justifies using the output from a trained seq2seq model as a guide for proof search.

研究动机与目标

• 探索使用深度神经网络（DNNs）在直觉型命题逻辑中进行自动定理证明的可行性。
• 弥合DNNs——通常具有概率性和近似性——与形式逻辑问题之间对完全正确输出的需求之间的差距。
• 评估原始seq2seq模型是否能够生成在语义和结构上接近正确证明的证明项候选。
• 设计一种证明合成流程，利用DNN生成的输出作为搜索引导，以提高相比暴力搜索的效率。
• 为基于DNN的证明合成在形式逻辑中建立基线，特别是在Curry–Howard同构的背景下。

提出的方法

• 使用中缀表示法表示逻辑连接词和λ-演算语法，将命题和证明项表示为标记序列。
• 使用命题-证明对数据集，训练一个序列到序列（seq2seq）神经网络，将命题标记序列映射到证明项标记序列。
• 应用Myers算法通过最小化与有效解析树的树编辑距离，纠正模型输出中的语法错误。
• 将校正后的解析树用作引导，按与DNN输出的树编辑距离递增顺序枚举候选证明项。
• 通过Haskell（经GHCi）中的类型检查来验证候选证明项，利用Curry–Howard同构确认其正确性。
• 基于树编辑距离设计代价函数，优先考虑候选证明项，目标是高效找到正确证明。

实验结果

研究问题

• RQ1 预训练的seq2seq模型能否生成在直觉型命题逻辑中结构上接近正确证明的证明项候选？
• RQ2 与暴力枚举相比，DNN生成的输出在多大程度上缩小了证明合成的搜索空间？
• RQ3 树编辑距离度量在衡量错误证明项与正确证明项之间接近程度方面有多有效？
• RQ4 基于DNN的引导能否显著提高形式逻辑系统中自动化证明搜索的效率？
• RQ5 使用未经调优的DNN进行证明合成存在哪些局限性，以及如何通过后处理和引导搜索加以缓解？

主要发现

• 经过训练的seq2seq模型在未进行超参数调优的情况下，对近一半的基准问题生成了正确证明。
• 错误的证明项输出在树编辑距离上通常与正确证明非常接近，验证了该度量作为搜索引导的适用性。
• 引导式证明搜索在效率上显著优于暴力搜索，因为它优先考虑了结构上合理的候选。
• 使用Myers算法进行后处理成功纠正了DNN输出中的语法错误，使解析为有效的抽象语法树成为可能。
• 该方法表明，即使未经优化的DNN也能为形式逻辑中的证明合成生成高质量的初始猜测。
• 该方法为基于DNN的证明合成建立了可行基线，表明神经翻译在自动化定理证明中可作为强大启发式方法。