[论文解读] Knowledge Enhanced Neural Networks for relational domains

Alessandro Daniele, Luciano Serafini|arXiv (Cornell University)|May 31, 2022

Natural Language Processing Techniques被引用 5

一句话总结

该论文通过引入多个残差逻辑层，将知识增强神经网络（KENN）扩展至关系型数据，将先验逻辑知识注入神经网络，实现对一元和二元谓词的可扩展推理。该方法在低数据场景下显著提升了模型准确率，同时保持高效率，在Citeseer数据集上的性能和训练速度均优于SBR和RNM。

ABSTRACT

In the recent past, there has been a growing interest in Neural-Symbolic Integration frameworks, i.e., hybrid systems that integrate connectionist and symbolic approaches to obtain the best of both worlds. In this work we focus on a specific method, KENN (Knowledge Enhanced Neural Networks), a Neural-Symbolic architecture that injects prior logical knowledge into a neural network by adding on its top a residual layer that modifies the initial predictions accordingly to the knowledge. Among the advantages of this strategy, there is the inclusion of clause weights, learnable parameters that represent the strength of the clauses, meaning that the model can learn the impact of each rule on the final predictions. As a special case, if the training data contradicts a constraint, KENN learns to ignore it, making the system robust to the presence of wrong knowledge. In this paper, we propose an extension of KENN for relational data. One of the main advantages of KENN resides in its scalability, thanks to a flexible treatment of dependencies between the rules obtained by stacking multiple logical layers. We show experimentally the efficacy of this strategy. The results show that KENN is capable of increasing the performances of the underlying neural network, obtaining better or comparable accuracies in respect to other two related methods that combine learning with logic, requiring significantly less time for learning.

研究动机与目标

• 将KENN框架扩展至支持关系型数据，包括一元和二元谓词，原版因基于矩阵的表示方式无法处理此类数据。
• 通过引入多层堆叠的逻辑层，解决现实关系型领域中逻辑规则间独立性假设被违反的问题。
• 提升神经网络中知识注入的可扩展性和鲁棒性，尤其在低数据和复杂关系设置下。
• 通过实证验证扩展后的KENN框架在集体分类任务中相较于SBR和RNM等现有神经符号方法的有效性。

提出的方法

• 在预训练神经网络中增加多个残差逻辑层，基于先验逻辑规则修改预测结果。
• 将逻辑知识表示为通过残差连接应用的可微约束，支持端到端训练。
• 为每条规则引入可学习的子句权重，使模型能够动态调整每条逻辑约束的影响。
• 通过重新定义输入表示以处理表格格式之外的关系结构，支持一元和二元谓词。
• 采用多层逻辑层的堆叠策略，建模规则间的依赖关系，克服独立性假设的局限性。
• 采用灵活且可扩展的架构，在复杂规则集下仍保持高训练效率。

实验结果

研究问题

• RQ1 KENN能否有效扩展以处理同时包含一元和二元谓词的关系型数据？
• RQ2 当规则间的独立性假设被违反时，堆叠多层逻辑层是否能提升性能？
• RQ3 在关系型数据集上，扩展后的KENN在准确率和训练效率方面与SBR和RNM相比表现如何？
• RQ4 知识注入在多大程度上减少了对标注训练数据的需求？

主要发现

• 在仅使用10%训练数据的归纳设定下，KENN使用三个KE层达到0.110的测试准确率，与使用50%数据的标准神经网络性能相当。
• 通过KE层注入知识显著提升了低数据场景下的准确率，有效实现数据效率翻倍——相当于训练集规模翻倍。
• KENN在归纳和归纳设定下均优于SBR和RNM，尤其在低数据场景下性能差距最大。
• KENN的平均训练时间为每轮7.96秒，显著快于SBR（87.36秒）和RNM（215.69秒），展现出更优的可扩展性。
• 增加KE层数量可提升准确率至某一程度，之后性能趋于稳定，证实了方法的鲁棒性及在最优深度后的收益递减特性。
• 在归纳设定下，SBR性能提升微弱，而KENN和RNM保持强性能，表明基于模型的方法优于基于正则化的方法。