[论文解读] Analogical Inference for Multi-Relational Embeddings

Hanxiao Liu, Yuexin Wu+1 more|arXiv (Cornell University)|May 6, 2017

Advanced Graph Neural Networks参考文献 42被引用 193

一句话总结

引入 ANALOGY，这是一个框架，利用可对易的正规矩阵在多关系嵌入中显式建模类比结构，带来可扩展、可微分的优化，并在基线方法上在基准数据集上实现更好的性能。

ABSTRACT

Large-scale multi-relational embedding refers to the task of learning the latent representations for entities and relations in large knowledge graphs. An effective and scalable solution for this problem is crucial for the true success of knowledge-based inference in a broad range of applications. This paper proposes a novel framework for optimizing the latent representations with respect to the extit{analogical} properties of the embedded entities and relations. By formulating the learning objective in a differentiable fashion, our model enjoys both theoretical power and computational scalability, and significantly outperformed a large number of representative baseline methods on benchmark datasets. Furthermore, the model offers an elegant unification of several well-known methods in multi-relational embedding, which can be proven to be special instantiations of our framework.

研究动机与目标

• 在大规模知识图谱嵌入中激发并形式化类比推理。
• 定义一个可处理的目标函数，通过关系映射的对易性和正规性来强制实现类比结构。
• 在这些约束下开发一个可扩展的学习实体和关系表示的算法。
• 展示现有嵌入模型如何成为 ANALOGY 框架中的特殊情况。

提出的方法

• 将每个关系 r 表示为作用于实体嵌入 v_e 的线性映射 W_r，通过 φ(s,r,o)=v_s^T W_r v_o 来对三元组进行打分。
• 强加关系映射形成一个对易族并且是正规矩阵，即对所有 r, r' 有 W_r W_r^T = W_r^T W_r 且 W_r W_{r'} = W_{r'} W_r。
• 通过正交基 Q 的联合分块对角化来表示对易正规矩阵，从而实现具有稀疏几乎对角块 B_r 的等价表述。
• 证明在原始表述下的任意解都存在一个把 B_r 限制在一个更小集合中的等价解，使得每个三元组的计算量降至 O(m)。
• 证明 DistMult、ComplEx 和 HolE 作为框架内的特例出现。
• 使用带异步 AdaGrad SGD 的逻辑损失，并通过破坏 s、r 或 o 来生成负样本。

实验结果

研究问题

• RQ1 如何在多关系嵌入中形式化地将类比推理纳入？
• RQ2 关系矩阵的对易性与正规性约束能否提升知识图谱完成任务的效果？
• RQ3 是否存在等价且更高效的 ANALOGY 表述，在保持性能的同时降低计算量？
• RQ4 现有嵌入模型如何与 ANALOGY 作为特例相关，以及这对它们的经验效能意味着什么？

主要发现

• ANALOGY 在 FB15K 和 WN18 上对广泛基线集取得显著的性能提升。
• 该框架提供一个统一的视角，将若干代表性方法作为特殊情形展示。
• 替代的分块对角化表述将每个三元组的计算量降至 O(m)，并随嵌入维度线性扩展。
• HolE 和 ComplEx 可以被视为 ANALOGY 框架内相关的结构，HolE 相当于对实值表述的复值放宽。