[论文解读] Integrating Deep Learning with Logic Fusion for Information Extraction

Wenya Wang, Sinno Jialin Pan|arXiv (Cornell University)|Dec 6, 2019

Topic Modeling参考文献 34被引用 7

一句话总结

该论文提出了一种统一框架，将深度学习与一阶逻辑规则相结合，用于端到端的信息抽取，采用基于Transformer的神经网络与通过差异损失连接的逻辑模块，联合优化神经预测与逻辑约束。该模型在意见目标抽取和端到端关系抽取任务上实现了最先进性能，通过联合学习数据与符号知识，实现了更快的收敛速度和更好的泛化能力。

ABSTRACT

Information extraction (IE) aims to produce structured information from an input text, e.g., Named Entity Recognition and Relation Extraction. Various attempts have been proposed for IE via feature engineering or deep learning. However, most of them fail to associate the complex relationships inherent in the task itself, which has proven to be especially crucial. For example, the relation between 2 entities is highly dependent on their entity types. These dependencies can be regarded as complex constraints that can be efficiently expressed as logical rules. To combine such logic reasoning capabilities with learning capabilities of deep neural networks, we propose to integrate logical knowledge in the form of first-order logic into a deep learning system, which can be trained jointly in an end-to-end manner. The integrated framework is able to enhance neural outputs with knowledge regularization via logic rules, and at the same time update the weights of logic rules to comply with the characteristics of the training data. We demonstrate the effectiveness and generalization of the proposed model on multiple IE tasks.

研究动机与目标

• 解决深度学习模型在信息抽取任务中捕捉复杂、结构化关系的局限性。
• 通过整合符号逻辑规则，克服纯神经网络在可解释性与先验知识融合方面的不足。
• 通过形式化逻辑建模实体类型与关系之间的依赖，实现实体与关系的联合推理。
• 开发一种可训练的端到端框架，使神经组件与逻辑组件在训练过程中相互正则化。
• 通过融合数据驱动学习与领域特定的逻辑约束，提升低资源信息抽取任务中的模型泛化能力与性能。

提出的方法

• 采用基于Transformer的神经网络，利用多头注意力机制学习上下文相关的词级表示，以建模长距离依赖关系。
• 将领域知识表示为一阶逻辑（FOL）规则，例如 $Live\_In(Z,X)\wedge person(Z)\Rightarrow location(X)$，以编码实体与关系之间的复杂约束。
• 为每条逻辑规则引入可学习权重，根据训练数据的兼容性动态调整规则置信度。
• 通过函数映射将神经网络输出映射到逻辑模块，使逻辑推理能够在分布式表示上进行。
• 最小化神经预测与逻辑模块输出之间的差异损失，以强制一致性并正则化深度学习模型。
• 使用反向传播端到端训练整个系统，实现神经权重与逻辑规则权重的联合优化。

实验结果

研究问题

• RQ1 一阶逻辑规则能否有效捕捉并强制执行信息抽取中实体与关系之间的复杂高层关系？
• RQ2 将符号逻辑与深度神经网络结合，如何提升低资源信息抽取任务中的泛化能力与性能？
• RQ3 与标准训练策略相比，差异损失机制在多大程度上提升了模型的鲁棒性与收敛速度？
• RQ4 联合学习框架是否在端到端关系与实体抽取任务上优于仅使用神经网络或仅使用逻辑规则的模型？
• RQ5 注意力机制、标签嵌入与逻辑规则等不同组件在联合推理中的最终性能表现中起到何种作用？

主要发现

• 所提出的模型TransF在意见目标抽取（OTE）和端到端关系抽取（RE）任务上均实现了最先进性能。
• TransF在关系抽取任务中显著优于强基线模型（Sun et al. 18）G，收敛速度更快——在20个周期内即达到高性能，而基线模型需500个周期以上。
• 加入逻辑规则的模型（TransF + SR + RR）相比标准Transformer基线有显著提升，证明了显式符号约束的价值。
• 移除注意力特征（TransF $-\alpha$）导致关系预测性能下降，证实注意力在建模实体交互中的重要性。
• 标签嵌入的使用略微提升了实体抽取性能，但显式逻辑规则带来的增益更大，表明其在建模分割与类型依赖关系方面的有效性。
• 差异损失机制实现了有效的知识蒸馏，使逻辑规则与神经预测相互正则化，从而实现更稳定、更准确的联合推理。