[论文解读] Equivariant Entity-Relationship Networks

Devon R. Graham, Wang, Junhao+1 more|arXiv (Cornell University)|Mar 21, 2019

Advanced Graph Neural Networks参考文献 65被引用 5

一句话总结

本文提出等变实体-关系网络（EERN），一种利用关系数据中实体与关系对称性的深度学习模型。通过将关系数据库建模为耦合的稀疏张量，并设计对实体实例排列不变的线性层，EERN在缺失记录预测任务中达到最先进性能，即使在CMTF的严格数据假设下也优于CMTF。

ABSTRACT

The relational model is a ubiquitous representation of big-data, in part due to its extensive use in databases. In this paper, we propose the Equivariant Entity-Relationship Network (EERN), which is a Multilayer Perceptron equivariant to the symmetry transformations of the Entity-Relationship model. To this end, we identify the most expressive family of linear maps that are exactly equivariant to entity relationship symmetries, and further show that they subsume recently introduced equivariant maps for sets, exchangeable tensors, and graphs. The proposed feed-forward layer has linear complexity in the data and can be used for both inductive and transductive reasoning about relational databases, including database embedding, and the prediction of missing records. This provides a principled theoretical foundation for the application of deep learning to one of the most abundant forms of data. Empirically, EERN outperforms different variants of coupled matrix tensor factorization in both synthetic and real-data experiments.

研究动机与目标

• 开发一种尊重实体-关系（ER）模型固有对称性的深度学习框架，确保模型预测在输入排列下一致变换。
• 解决现有方法（如耦合矩阵张量分解，CMTF）依赖于数据结构强生成假设的局限性。
• 通过学习对实体实例排列不变的可泛化表征，实现在关系数据库中的归纳与归纳推理。
• 提供一个理论基础坚实、参数高效的架构，用于关系数据，且其规模随输入大小线性增长。
• 证明等变性在提升预测性能方面的有效性，特别是在低数据量或分布外设置下。

提出的方法

• 将关系数据库表示为一组耦合的稀疏张量，其中每个张量对应一个关系或实体属性。
• 将对称变换定义为保持所有张量中关系结构不变的实体实例排列。
• 利用群表示理论，推导出在这些对称性下严格等变的线性映射的可证明最大族。
• 构建具有权重共享（参数共享）的前馈层，跨实体实例实现等变性。
• 堆叠多个等变层并引入非线性激活函数，形成一个深层多层感知机（EERN），通过自编码进行训练以实现重构。
• 使用池化和广播操作，实现权重矩阵的动态重缩放，支持对未见实体的归纳推理。

实验结果

研究问题

• RQ1 我们能否推导出一个完整且最大的线性映射族，使其对实体-关系模型的对称性严格等变？
• RQ2 在关系推理任务中，将等变性整合到深度学习模型是否能显著提升性能，相较于标准基线方法？
• RQ3 等变模型在不重新训练的情况下，对全新未见的实体实例的泛化能力有多强（归纳设置）？
• RQ4 利用来自多个关系的辅助信息，是否能提升目标关系中缺失条目的预测性能？
• RQ5 即使CMTF的严格分解假设成立，等变模型是否仍能超越CMTF？

主要发现

• 在合成数据和真实世界数据集上，EERN的性能均优于耦合矩阵张量分解（CMTF），即使在CMTF的分解假设成立时亦然。
• 模型在归纳设置中表现强劲，能够对训练过程中未见的全新实体预测缺失记录，展现出良好的可迁移性。
• 整合来自相关关系（如学生-教授表与课程-教授表）的辅助信息，显著提升了对学生-课程关系的预测准确率。
• 预测误差随训练数据量增加而降低，并且可通过在推理时引入新数据而进一步减少，无需重新训练，凸显了模型的适应能力。
• 模型在不同稀疏度水平下均保持一致的性能表现，均方根误差（RMSE）随训练或测试阶段观察到的数据量增加而降低。
• 嵌入可视化显示，预测嵌入与输入嵌入均保持局部结构，表明EERN学习到了有意义且可泛化的表征。