[论文解读] Canonical Tensor Decomposition for Knowledge Base Completion

Timothée Lacroix, Nicolas Usunier+1 more|arXiv (Cornell University)|Jun 19, 2018

Advanced Graph Neural Networks参考文献 34被引用 49

一句话总结

本论文重新评估知识库完成中的 CP，提出一个语义不变的互惠谓词重构和一个核 3-范数正则化器，在若干基准数据集上达到最先进结果，并在使用逆谓词时与 ComplEx 相匹配。

ABSTRACT

The problem of Knowledge Base Completion can be framed as a 3rd-order binary tensor completion problem. In this light, the Canonical Tensor Decomposition (CP) (Hitchcock, 1927) seems like a natural solution; however, current implementations of CP on standard Knowledge Base Completion benchmarks are lagging behind their competitors. In this work, we attempt to understand the limits of CP for knowledge base completion. First, we motivate and test a novel regularizer, based on tensor nuclear $p$-norms. Then, we present a reformulation of the problem that makes it invariant to arbitrary choices in the inclusion of predicates or their reciprocals in the dataset. These two methods combined allow us to beat the current state of the art on several datasets with a CP decomposition, and obtain even better results using the more advanced ComplEx model.

研究动机与目标

• 推动并测试 CP 在知识库完成中的表现，与最先进模型相比。
• 引入基于张量范数的正则化项，以促进原则性正则化。
• 提出通过对谓词及其逆谓词建模来实现语义不变的重组。
• 在多数据集上比较 CP 与 ComplEx 在互惠（reciprocal）与标准设置下的表现。

提出的方法

• 将知识库建模为三阶二元张量并应用 CP 分解。
• 使用全多类对数损失进行训练，factor 的权重按数据相关性加权。
• 引入基于核 p-范数的正则化项（特别是核 3-范数），作为张量范数的变分形式。
• 通过增加逆谓词来重组目标，形成一个互惠张量以实现语义不变。
• 对比 CP 与 ComplEx 在标准与互惠设置下的表现；实现加权正则化与 SGD 优化。

实验结果

研究问题

• RQ1 通过恰当选择的优化与正则化，CP 能否达到竞争性知识库完成性能？
• RQ2 基于张量范数的正则化是否提升 CP 在基准数据集上的性能？
• RQ3 对逆谓词（互为）建模是否提升链接预测并提供语义不变性？
• RQ4 在标准基准上，CP 与 ComplEx 在互惠式表述下的比较如何？
• RQ5 优化设置（批量大小、学习率、秩）对模型性能的影响？

主要发现

• 当细致优化并使用逆谓词建模时，CP 可以达到最先进的性能。
• 建模逆谓词为 CP 与 ComplEx 带来巨大提升，例如在 FB15K 上，CP 采用互惠时 MRR 从 0.46 提升到 0.86。
• 核 3-范数正则化在更难的数据集上提供了小但显著的提升，但对 CP 性能并非关键。
• 互惠式重构显著提升 CP 在 WN18 和 FB15K 的表现，使 CP 的结果在若干数据集上接近甚至达到 ComplEx。
• 带有逆谓词的 CP 与 ComplEx 在多个数据集上的均值倒排（MRR）高于它们的标准对比。
• 优化超参数对最终结果影响很大，有时高达 0.1 的 MRR。