[论文解读] Augmenting Neural Networks with First-order Logic

Tao Li, Vivek Srikumar|arXiv (Cornell University)|Jun 14, 2019

Topic Modeling参考文献 40被引用 4

一句话总结

本文提出一种框架，通过将一阶逻辑规则编译为可微分计算图，将逻辑规则整合到神经网络中，实现无需额外可训练参数的知识注入。该方法通过提供逻辑归纳偏置来引导训练与预测，在机器问答、自然语言蕴含和文本分块等任务中显著提升模型性能，尤其在低数据场景下表现突出。

ABSTRACT

Today, the dominant paradigm for training neural networks involves minimizing task loss on a large dataset. Using world knowledge to inform a model, and yet retain the ability to perform end-to-end training remains an open question. In this paper, we present a novel framework for introducing declarative knowledge to neural network architectures in order to guide training and prediction. Our framework systematically compiles logical statements into computation graphs that augment a neural network without extra learnable parameters or manual redesign. We evaluate our modeling strategy on three tasks: machine comprehension, natural language inference, and text chunking. Our experiments show that knowledge-augmented networks can strongly improve over baselines, especially in low-data regimes.

研究动机与目标

• 通过一阶逻辑引入声明性世界知识，以解决神经网络的数据饥渴问题。
• 开发一种将逻辑约束整合到现有神经架构中的方法，无需重新设计或增加可学习参数。
• 评估逻辑约束是否能降低数据依赖性，并在低资源设置下提升性能。
• 对比逻辑增强模型与仅依赖大规模预训练表示的模型的有效性。

提出的方法

• 该框架将一阶逻辑规则编译为可微分计算图，并将其集成到现有的神经网络架构中。
• 逻辑规则以条件语句（L → R）的形式表达，其中L是文字的合取/析取，R是单个文字，从而实现系统化的约束编码。
• 在整个过程中使用软约束，允许规则中的容错性，并将逻辑中的谓词映射到网络中的特定神经元。
• 采用逻辑的可微分松弛，以支持基于梯度的优化，同时保持与标准反向传播的端到端训练兼容性。
• 该方法与现成的神经网络兼容，并可将约束应用于可解释性较强的层，如注意力机制或CRF层。
• 该框架支持局部与全局约束的集成，允许对神经组件进行模块化增强。

实验结果

研究问题

• RQ1 能否在不修改学习过程的前提下，系统性地将一阶逻辑规则整合到神经网络训练中？
• RQ2 此类逻辑约束是否能降低神经网络训练的数据需求？
• RQ3 与依赖大规模预训练表示相比，整合领域特定的逻辑知识有何差异？
• RQ4 在多种NLP任务中，逻辑整合是否能提升低数据场景下的模型性能？

主要发现

• 知识增强模型显著优于标准基线模型，尤其在低数据场景下表现突出，例如在仅使用5%训练数据的SQuAD数据集上，性能提升最高达5.4%。
• 在SNLI蕴含数据集上，约束模型在仅使用5%数据的情况下达到88.6%的准确率，优于基线模型和CRF模型。
• 在文本分块任务中，使用约束增强的BiLSTM模型（C1:5）在仅使用20%数据时达到92.1%的准确率，超过基线模型和CRF模型。
• 在完整数据集上，CRF与逻辑约束的结合取得了最佳性能（准确率95.0%），表明两者具有互补优势。
• 当数据量≤40%时，CRF模型的表现劣于基线模型，表明全局推理模型需要更多数据才能有效学习评分函数。
• 该框架在不增加可训练参数的前提下，成功提升了所有三项任务的模型性能，证实了其高效性与对现有架构的兼容性。