[论文解读] Complex Evolutional Pattern Learning for Temporal Knowledge Graph Reasoning

Zixuan Li, Saiping Guan+8 more|arXiv (Cornell University)|Mar 15, 2022

Advanced Graph Neural Networks被引用 8

一句话总结

该论文提出复杂演化网络（CEN），一种用于时序知识图谱推理的新模型，解决了演化模式中的长度多样性与时间可变性问题。CEN 使用一种长度感知的卷积神经网络（CNN）结合课程学习，以捕捉不同长度的模式；并采用在线训练设置与时间正则化单元，以适应动态变化的演化模式，在 ICEWS14、ICEWS18 和 WIKI 数据集上，无论在离线还是在线设置下均取得了最先进性能。

ABSTRACT

A Temporal Knowledge Graph (TKG) is a sequence of KGs corresponding to different timestamps. TKG reasoning aims to predict potential facts in the future given the historical KG sequences. One key of this task is to mine and understand evolutional patterns of facts from these sequences. The evolutional patterns are complex in two aspects, length-diversity and time-variability. Existing models for TKG reasoning focus on modeling fact sequences of a fixed length, which cannot discover complex evolutional patterns that vary in length. Furthermore, these models are all trained offline, which cannot well adapt to the changes of evolutional patterns from then on. Thus, we propose a new model, called Complex Evolutional Network (CEN), which uses a length-aware Convolutional Neural Network (CNN) to handle evolutional patterns of different lengths via an easy-to-difficult curriculum learning strategy. Besides, we propose to learn the model under the online setting so that it can adapt to the changes of evolutional patterns over time. Extensive experiments demonstrate that CEN obtains substantial performance improvement under both the traditional offline and the proposed online settings.

研究动机与目标

• 为解决现有时序知识图谱推理模型固定模式长度且离线训练所导致的局限性，即难以有效处理演化中、多样化长度的演化模式。
• 通过引入一种长度感知的卷积神经网络，建模不同长度的演化模式，以捕捉跨不同序列长度的顺序依赖关系。
• 通过在线学习设置训练模型，实现实时演化模式的持续适应。
• 通过引入时间正则化单元，缓解在线学习过程中的灾难性遗忘，实现新旧知识之间的平衡。

提出的方法

• CEN 使用关系图卷积网络（RGCN）将历史知识图谱序列编码为上下文表示。
• 设计了一种长度感知的 CNN，用于从不同长度的序列中提取演化模式，其卷积核能动态适应序列长度。
• 采用课程学习策略进行训练，从较短序列开始，逐步增加序列长度，以提升训练稳定性和性能。
• 采用在线学习设置，模型在每个新时间戳处通过新观测到的事实进行增量微调。
• 引入时间正则化（TR）单元，通过在在线更新过程中保留先前时间段的知识，防止灾难性遗忘。
• 在离线与在线设置下，使用 MRR 和 Hits@{1,3,10} 进行评估，并采用时间感知过滤以确保公平比较。

实验结果

研究问题

• RQ1 模型能否有效学习时序知识图谱中多样化长度的演化模式，而非受限于固定长度的序列？
• RQ2 时序知识图谱推理模型如何适应随时间变化的演化模式，特别是当出现与历史模式不同的新模式时？
• RQ3 基于序列长度的课程学习是否能提升时序知识图谱推理中演化模式学习的性能与稳定性？
• RQ4 在线学习结合时间正则化单元在多大程度上能缓解灾难性遗忘，同时保持在演化数据上的性能？
• RQ5 所提出的 CEN 模型在离线与在线时序知识图谱推理设置下，与现有最先进模型相比表现如何？

主要发现

• 在传统的离线设置下，CEN 在 ICEWS14、ICEWS18 和 WIKI 数据集上均达到最先进性能，在 MRR、Hits@3 和 Hits@10 指标上全面优于所有基线模型。
• 在 ICEWS 数据集上，尽管 CEN 的 Hits@1 略低，但其在 Hits@3 和 Hits@10 上仍优于 TITer，归因于其能够聚合来自多个多样化长度模式的信息。
• 在在线设置下，CEN 显著优于 CEN(-TR)，证明了时间正则化单元在知识保留与适应性之间实现平衡的有效性。
• 在 WIKI 数据集上，CEN(-TR) 的表现优于 CEN，表明当时间间隔较大且模式高度时间可变时，TR 单元可能对性能产生抑制作用。
• 消融实验验证，课程学习与长度感知 CNN 均为关键组件：移除任一模块均导致性能显著下降，证实了其贡献的重要性。