[论文解读] Exploring Neural Models for Parsing Natural Language into First-Order Logic

Hrituraj Singh, Milan Aggarwal+1 more|arXiv (Cornell University)|Feb 16, 2020

Natural Language Processing Techniques参考文献 60被引用 6

一句话总结

该论文提出了一种带有辅助类别预测和可变对齐机制的神经序列到序列模型，用于将英语句子解析为一阶逻辑（FOL）。通过解耦谓词类型并强制谓词间变量的一致性，该模型在测试数据上取得了72.42%的F1分数，显著优于基线模型，并展现出对输入扰动的鲁棒性。

ABSTRACT

Semantic parsing is the task of obtaining machine-interpretable representations from natural language text. We consider one such formal representation - First-Order Logic (FOL) and explore the capability of neural models in parsing English sentences to FOL. We model FOL parsing as a sequence to sequence mapping task where given a natural language sentence, it is encoded into an intermediate representation using an LSTM followed by a decoder which sequentially generates the predicates in the corresponding FOL formula. We improve the standard encoder-decoder model by introducing a variable alignment mechanism that enables it to align variables across predicates in the predicted FOL. We further show the effectiveness of predicting the category of FOL entity - Unary, Binary, Variables and Scoped Entities, at each decoder step as an auxiliary task on improving the consistency of generated FOL. We perform rigorous evaluations and extensive ablations. We also aim to release our code as well as large scale FOL dataset along with models to aid further research in logic-based parsing and inference in NLP.

研究动机与目标

• 开发一种通用的、开放域的神经解析器，将自然语言句子映射为一阶逻辑（FOL）表示。
• 通过神经序列到序列学习，解决在FOL中建模复杂变量依赖关系和谓词关系的挑战。
• 通过在解码过程中引入实体类别（一元、二元、变量、作用域实体）的辅助预测，提升FOL生成的一致性。
• 通过专用的对齐机制，约束解码器注意力，实现谓词间可变对齐，从而提升性能。
• 通过在训练中引入变量置换，评估模型对简单模式利用的鲁棒性。

提出的方法

• 将FOL解析建模为序列到序列任务，采用LSTM编码器和自回归解码器。
• 为四种FOL实体类型——一元谓词、二元谓词、变量和作用域实体——引入独立的预测头作为辅助任务。
• 提出一种可变对齐机制，通过可学习的对齐损失，显式将二元谓词中的变量与先前生成的一元谓词关联起来。
• 应用标记因子分解来表示FOL符号，并通过基于预测实体类型的条件实现结构化解码。
• 在训练中采用扰动策略，随机置换真实标签中的变量名称，以测试模型的鲁棒性。
• 采用标准注意力机制和束搜索解码，损失函数结合交叉熵与对齐监督。

实验结果

研究问题

• RQ1 神经序列到序列模型能否有效从自然语言中学习生成复杂的FOL表达式？
• RQ2 对FOL实体类别的辅助预测是否能提升生成公式的稳定性和正确性？
• RQ3 对谓词间显式可变对齐是否能显著提升FOL解析性能？
• RQ4 所提出的模型对训练数据中的分布偏移或模式利用有多大的鲁棒性？
• RQ5 该模型在开放域、多样化的自然语言输入上，其泛化能力在多大程度上超越了窄域基准？

主要发现

• 采用独立预测头和可变对齐机制的模型在测试集上取得了72.42%的F1分数，显著优于基线模型（63.03%）。
• 引入独立头和对齐机制的模型在变量绑定和谓词结构错误方面有所减少，复杂关系句的精确率和召回率均有所提升。
• 该模型对输入扰动表现出强鲁棒性：当基线模型在变量置换下性能急剧下降时，该模型仍保持高性能。
• 辅助类别预测任务提升了FOL生成的一致性，减少了谓词和变量使用中的句法错误。
• 可变对齐机制有效捕捉了谓词间的变量依赖关系，尤其在共享实体或相互关系的句子中表现突出。
• 结果表明，显式的结构归纳偏置（如实体类型解耦和对齐）能显著增强神经FOL解析性能。