[论文解读] Can Neural Networks Understand Logical Entailment?

Evans, Richard, David Saxton+3 more|arXiv (Cornell University)|Feb 23, 2018

Topic Modeling参考文献 35被引用 10

一句话总结

本文提出了一项新数据集，用于评估神经网络在命题逻辑中的逻辑蕴含任务，通过形式化且仅关注结构的任务来隔离模型架构的归纳偏置。该研究对比了LSTM和CNN等标准模型与一种新型架构——PossibleWorldNets，后者显式建模了在所有可能世界中的蕴含关系，实现了最先进性能，表明具有强结构归纳偏置的模型优于依赖隐式结构捕捉的模型。

ABSTRACT

We introduce a new dataset of logical entailments for the purpose of measuring models' ability to capture and exploit the structure of logical expressions against an entailment prediction task. We use this task to compare a series of architectures which are ubiquitous in the sequence-processing literature, in addition to a new model class---PossibleWorldNets---which computes entailment as a "convolution over possible worlds". Results show that convolutional networks present the wrong inductive bias for this class of problems relative to LSTM RNNs, tree-structured neural networks outperform LSTM RNNs due to their enhanced ability to exploit the syntax of logic, and PossibleWorldNets outperform all benchmarks.

研究动机与目标

• 评估神经网络是否能够理解并利用逻辑表达式的结构语法以完成蕴含任务。
• 在纯粹的结构序列问题中，隔离并度量主流神经架构的归纳偏置。
• 开发并基准测试一种新型模型类别——PossibleWorldNets，该模型通过可能世界显式编码逻辑蕴含的语义。
• 提供一个不含表面统计偏差的基准数据集，以实现对神经模型结构推理能力的公平评估。

提出的方法

• 作者构建了一个命题逻辑中的逻辑蕴含三元组（A, B, A⊨B）的新数据集，通过使用抽象命题变量确保无词汇或语义偏差。
• 他们设计了一种通用的数据生成流程，确保蕴含关系仅由逻辑连接词和句法结构决定，而非表面模式。
• 他们在该数据集上评估了多种标准架构，包括前馈网络、卷积网络、LSTM和树形结构网络。
• 他们提出了PossibleWorldNets，一种新型模型，通过在所有命题变量的真值赋值下评估公式，将蕴含关系计算为“在可能世界上的卷积”。
• 该模型使用树形结构网络处理逻辑公式，并通过所有可能世界的可微聚合来计算蕴含关系。
• 评估采用测试集上的准确率来比较各模型性能，并通过消融研究验证架构设计选择的有效性。

实验结果

研究问题

• RQ1 当任务仅依赖句法结构和逻辑算子，而不依赖词语意义或语义时，神经网络能否可靠检测逻辑蕴含？
• RQ2 哪些神经网络架构在捕捉和利用序列数据中的结构关系方面表现出最佳归纳偏置？
• RQ3 是否一种明确基于蕴含语义（模型论定义）的架构——通过考虑所有可能世界——能优于那些隐式学习结构的模型？
• RQ4 标准架构如LSTM和CNN在纯粹的结构推理任务上的表现如何？它们的失败揭示了其归纳偏置的哪些特征？

主要发现

• 卷积网络在逻辑蕴含任务上表现不佳，表明其对捕捉逻辑表达式中深层异构句法结构的归纳偏置不恰当。
• 基于LSTM的模型优于卷积网络，表明循环架构更能捕捉逻辑公式的层次结构。
• 树形结构神经网络优于标准LSTM，因其显式建模了逻辑表达式的句法结构，凸显了架构归纳偏置的重要性。
• PossibleWorldNets通过显式建模所有命题变量真值赋值下的蕴含关系，实现了最先进性能，表明与任务语义相匹配的架构设计能带来更优泛化能力。
• 结果证实，与任务结构特性相匹配的强归纳偏置模型——如PossibleWorldNets——显著优于依赖隐式结构学习的模型。
• 本研究表明，基于自然语言文本蕴含训练的神经模型可能在形式化逻辑推理任务中失败，原因在于其依赖语义线索，凸显了显式结构归纳偏置的必要性。