[论文解读] Lifted Relational Neural Networks

Gustav Šourek, Vojtech Aschenbrenner+2 more|arXiv (Cornell University)|Aug 20, 2015

Bayesian Modeling and Causal Inference参考文献 27被引用 36

一句话总结

本文提出了提升型关系神经网络（LRNNs），一种通过从加权关系规则中展开特定于示例的神经网络结构，将关系逻辑与深度前馈神经网络相结合的框架。该方法通过共享的、受规则约束的权重，实现了对潜在关系概念的端到端学习，在78个关系学习基准上取得了最先进性能，并有效发现了可解释的关系模式。

ABSTRACT

We propose a method combining relational-logic representations with neural network learning. A general lifted architecture, possibly reflecting some background domain knowledge, is described through relational rules which may be handcrafted or learned. The relational rule-set serves as a template for unfolding possibly deep neural networks whose structures also reflect the structures of given training or testing relational examples. Different networks corresponding to different examples share their weights, which co-evolve during training by stochastic gradient descent algorithm. The framework allows for hierarchical relational modeling constructs and learning of latent relational concepts through shared hidden layers weights corresponding to the rules. Discovery of notable relational concepts and experiments on 78 relational learning benchmarks demonstrate favorable performance of the method.

研究动机与目标

• 开发一种将关系逻辑与神经网络整合以处理关系数据的深度学习框架。
• 通过提升架构中的共享、受规则约束的权重，实现潜在关系结构的学习。
• 支持从关系数据中发现可解释的关系概念的层次化建模。
• 在多样化的关系学习基准上实现最先进性能。
• 提供一种灵活、可解释且可扩展的关系表征学习方法。

提出的方法

• 该框架使用一组加权关系规则（例如一阶逻辑中的规则）作为模板，展开特定于示例的神经网络架构。
• 每个实例化神经网络基于给定示例的关系结构构建，其共享权重与底层规则相关联。
• 通过随机梯度下降更新权重，支持不同特定于示例的网络之间参数的共同演化。
• 通过递归应用规则和共享隐藏层，支持层次化建模，以实现潜在概念的学习。
• 关系规则可手工构建，或通过归纳逻辑编程等技术学习得到。
• 该架构支持针对关系分类任务定制的激活函数和损失函数。

实验结果

研究问题

• RQ1 通过将基于规则的模板与端到端反向传播相结合，提升型神经网络框架能否有效从关系数据中学习？
• RQ2 该方法能否在无需显式特征工程的情况下发现有意义的潜在关系概念？
• RQ3 在特定于示例的网络之间共享权重的机制是否能提升关系基准上的泛化能力和性能？
• RQ4 LRNNs的性能与现有最先进关系学习系统相比如何？
• RQ5 该方法在保持所学规则可解释性的前提下，能否扩展到复杂的关系数据集？

主要发现

• LRNNs在78个关系学习基准上实现了最先进性能，优于kFOIL和nFOIL等现有方法。
• 在Mutagenesis数据集上，LRNNs发现了与化学相关的原子链，如C-C-F、N-O和C-Cl，这些结构已知会影响致突变性。
• 对学习到的规则权重进行可视化，揭示了可解释的潜在概念，如Kappa1–Kappa3，对应于分子结构中的特定原子组合。
• 该方法在多样化数据集（包括PTC-mr、DMS_114和NCI_H522）上表现出良好性能，预测误差持续降低。
• 实验结果证实，该框架能有效学习潜在关系结构的参数，克服了传统提升模型依赖昂贵EM算法的局限性。
• 该方法通过共享隐藏层成功诱导出辅助关系概念，验证了其在层次化关系表征学习方面的潜力。