[论文解读] RelNN: A Deep Neural Model for Relational Learning

Seyed Mehran Kazemi, David Poole|arXiv (Cornell University)|Dec 7, 2017

Bayesian Modeling and Causal Inference被引用 17

一句话总结

本文提出 RelNN，一种用于关系学习的深度神经网络架构，通过在关系逻辑回归基础上增加多层隐藏层，直接且通过通用规则建模潜在对象属性。利用反向传播和模块化、分层设计，RelNN 在三个真实世界数据集的八个任务上实现最先进性能，证明其在聚合和对象属性预测方面相比现有模型具有更优的可扩展性和泛化能力。

ABSTRACT

Statistical relational AI (StarAI) aims at reasoning and learning in noisy domains described in terms of objects and relationships by combining probability with first-order logic. With huge advances in deep learning in the current years, combining deep networks with first-order logic has been the focus of several recent studies. Many of the existing attempts, however, only focus on relations and ignore object properties. The attempts that do consider object properties are limited in terms of modelling power or scalability. In this paper, we develop relational neural networks (RelNNs) by adding hidden layers to relational logistic regression (the relational counterpart of logistic regression). We learn latent properties for objects both directly and through general rules. Back-propagation is used for training these models. A modular, layer-wise architecture facilitates utilizing the techniques developed within deep learning community to our architecture. Initial experiments on eight tasks over three real-world datasets show that RelNNs are promising models for relational learning.

研究动机与目标

• 为解决在依赖关系因对象和关系而异时预测对象属性的挑战。
• 克服现有模型在忽略对象属性或因过拟合或刚性聚合函数而无法泛化的局限性。
• 开发一种可扩展的深度神经网络框架，通过可微分的、基于规则的推理学习显式和潜在的对象属性。
• 通过反向传播实现端到端训练，同时保持模块化设计，便于与深度学习技术集成。
• 在大规模关系领域中提升泛化能力，解决传统模型在群体规模增大时变得过度自信的问题。

提出的方法

• RelNN 通过堆叠多层关系逻辑回归（RLR）构建，实现在关系数据上的分层、非线性特征学习。
• 每一层通过应用于基原子的加权、可微规则学习对象属性的潜在表征，参数通过反向传播更新。
• 该模型支持对象属性的直接学习和通过通用规则的间接学习，实现灵活的关系推理。
• 模块化、分层的架构支持与深度学习原语（如激活函数和归一化技术）的集成。
• 框架使用嵌入的逐元素操作（如点积）计算规则激活，类似于卷积神经网络的操作，提升可解释性和可扩展性。
• 训练复杂度与数据规模和模型规模呈线性关系，支持在包含最多 100 万个观测值的大规模领域中高效学习。

实验结果

研究问题

• RQ1 能否设计一种深度神经网络架构，以可微分、可扩展的方式联合学习对象属性和关系依赖？
• RQ2 在关系模型中引入多层隐藏层相比浅层模型，在聚合任务上的性能提升程度如何？
• RQ3 在统一的深度学习框架中，潜在对象属性在多大程度上能通过直接学习和通用规则联合学习？
• RQ4 RelNN 的模块化、分层设计是否相比现有关系深度学习模型展现出更好的泛化能力和可扩展性？
• RQ5 RelNN 是否能缓解传统模型在群体规模增大时出现的过度自信问题？

主要发现

• RelNN 在三个真实世界数据集的八个任务上优于多种现有关系学习模型，展现出更优的预测性能。
• 该模型有效处理了对象属性依赖于相关对象和关系数量不一的聚合问题。
• 与张量分解和基于 RNN 的模型相比，RelNN 展现出更优的泛化能力，后者常因记忆训练标签或在未见输入顺序上失败而表现不佳。
• 模块化架构支持训练复杂度与数据规模和模型规模成比例，支持大规模领域的可扩展性。
• 通过关系计算图的反向传播，实现规则权重和潜在对象表征的端到端学习。
• RelNN 通过学习灵活、数据驱动的聚合器，而非依赖固定函数（如均值或噪声或门），降低了在大规模群体中的过度自信问题。