[论文解读] Knowledge Graph Embedding with Atrous Convolution and Residual Learning

Feiliang Ren, Juchen Li+5 more|arXiv (Cornell University)|Oct 23, 2020

Advanced Graph Neural Networks参考文献 51被引用 4

一句话总结

该论文提出AcrE，一种知识图谱嵌入模型，通过空洞卷积和残差学习增强特征交互并缓解梯度消失问题，同时保持高参数效率。在六个基准数据集上，其参数量少于现有方法，性能达到最先进水平。

ABSTRACT

Knowledge graph embedding is an important task and it will benefit lots of downstream applications. Currently, deep neural networks based methods achieve state-of-the-art performance. However, most of these existing methods are very complex and need much time for training and inference. To address this issue, we propose a simple but effective atrous convolution based knowledge graph embedding method. Compared with existing state-of-the-art methods, our method has following main characteristics. First, it effectively increases feature interactions by using atrous convolutions. Second, to address the original information forgotten issue and vanishing/exploding gradient issue, it uses the residual learning method. Third, it has simpler structure but much higher parameter efficiency. We evaluate our method on six benchmark datasets with different evaluation metrics. Extensive experiments show that our model is very effective. On these diverse datasets, it achieves better results than the compared state-of-the-art methods on most of evaluation metrics. The source codes of our model could be found at https://github.com/neukg/AcrE.

研究动机与目标

• 为解决基于深度神经网络的知识图谱嵌入方法的局限性，包括卷积层中步幅导致的高复杂度和特征分辨率降低问题。
• 通过残差学习缓解梯度消失/爆炸问题以及深层网络中的原始信息遗忘问题。
• 通过空洞卷积提升知识图谱嵌入中的特征交互，同时显著减少模型参数的增加。
• 在保持或提升性能的同时，实现比最先进模型更高的参数效率。
• 提出一种简单但高效的架构，结合空洞卷积与残差连接，用于知识图谱嵌入。

提出的方法

• 该模型采用空洞卷积，在不增加参数量或计算成本的前提下扩展滤波器的感受野。
• 引入残差学习以保留原始特征并稳定训练，减少深层架构中的信息损失。
• 提出两种集成结构：串行结构与并行结构，用于组合多种卷积操作。
• 串行结构按顺序应用卷积并结合跳跃连接；并行结构则通过逐元素相加或拼接方式融合来自不同卷积的特征。
• 使用空洞率控制感受野扩展，实现跨关系和实体的有效上下文聚合。
• 模型采用基于边距的排序损失函数进行训练，与以往KGE方法类似，以优化实体和关系的表示。

实验结果

研究问题

• RQ1 空洞卷积是否能在不增加模型复杂度的前提下，有效增强知识图谱嵌入中的特征交互？
• RQ2 残差学习是否能通过缓解信息遗忘和梯度问题，显著提升深层KGE模型的训练稳定性和性能？
• RQ3 在多种基准数据集上，所提出的AcrE模型在性能和参数效率方面与最先进KGE模型相比如何？
• RQ4 在并行结构中，不同集成策略（逐元素相加 vs. 拼接）对模型性能有何影响？
• RQ5 该模型是否能在保持训练和推理高效率的同时，超越复杂的DNN基线模型？

主要发现

• AcrE在六个基准数据集上达到最先进性能，多数评估指标优于现有方法。
• 由于深层串行层中信息遗忘程度更高，串行残差结构从残差学习中获得的性能增益高于并行结构。
• 在并行结构中，基于拼接的集成方法始终优于逐元素相加的方法。
• AcrE的参数效率显著优于大多数基线模型，串行版本仅约560万个参数，而并行版本约620万个参数，远低于HAKE的最高2979万个参数。
• 训练时间显著快于许多近期的GNN和DNN基线模型，在Titan XP GPU上，FB15k-237数据集每轮仅需约100秒，完整测试集的推理时间仅6秒。
• 该模型在多样化数据集上表现出强大的泛化能力，证实其在真实世界知识图谱场景中的鲁棒性与有效性。