[论文解读] An Interpretable Knowledge Transfer Model for Knowledge Base Completion

Qizhe Xie, Xuezhe Ma+2 more|arXiv (Cornell University)|Apr 19, 2017

Topic Modeling参考文献 38被引用 27

一句话总结

该论文提出ITransF，一种知识嵌入模型，利用稀疏注意力机制发现关系之间的共享隐含概念，实现在知识库补全中的可解释知识迁移。通过学习表示概念如何组合成特定关系投影矩阵的稀疏注意力向量，ITransF在无需外部数据的情况下，在WN18和FB15k数据集上提升了平均排名和Hits@10指标，优于同类先前模型。

ABSTRACT

Knowledge bases are important resources for a variety of natural language processing tasks but suffer from incompleteness. We propose a novel embedding model, \emph{ITransF}, to perform knowledge base completion. Equipped with a sparse attention mechanism, ITransF discovers hidden concepts of relations and transfer statistical strength through the sharing of concepts. Moreover, the learned associations between relations and concepts, which are represented by sparse attention vectors, can be interpreted easily. We evaluate ITransF on two benchmark datasets---WN18 and FB15k for knowledge base completion and obtains improvements on both the mean rank and Hits@10 metrics, over all baselines that do not use additional information.

研究动机与目标

• 通过在关系之间共享统计规律，解决知识库补全中的数据稀疏性问题。
• 通过稀疏注意力机制发现共享隐含概念，提升关系投影矩阵的泛化能力。
• 通过学习显式展示每个关系中概念如何组合的稀疏注意力向量，使知识迁移过程可解释。
• 开发一种直接在注意力机制中诱导稀疏性的优化算法，避免依赖事后正则化。
• 证明可通过概念发现实现内部参数共享，从而在不依赖外部资源的情况下提升模型性能。

提出的方法

• ITransF采用稀疏注意力机制，将共享概念矩阵组合成特定关系的投影矩阵，实现在关系之间的知识迁移。
• 该模型学习稀疏且可解释的注意力向量，指示哪些隐藏概念对每个关系的投影矩阵有贡献。
• 提出一种块迭代优化算法，在训练过程中直接施加稀疏性，提升泛化能力和可解释性。
• 能量函数定义为投影头实体与尾实体之间差异的范数，通过最小化正样本三元组的能量来优化。
• 通过在共享概念矩阵上学习注意力，避免了TransE的强先验假设，将实体投影到关系依赖的嵌入空间。
• 采用基于边距的排序损失进行端到端训练，最小化正样本三元组的能量，同时最大化负样本三元组的能量。

实验结果

研究问题

• RQ1 知识嵌入模型能否通过发现关系之间的共享隐含概念，提升知识库补全的泛化能力？
• RQ2 如何通过显式注意力机制使关系之间的知识迁移过程可解释？
• RQ3 在数据稀疏场景下，直接优化稀疏性的稀疏注意力机制是否优于密集注意力或事后正则化方法？
• RQ4 所提出的模型是否能在不依赖外部知识或预训练的情况下，在基准数据集上取得更优性能？
• RQ5 所学习的注意力机制在多大程度上揭示了关系与共享概念之间有意义且可解释的关联？

主要发现

• 在WN18基准测试中，ITransF实现平均排名205和Hits@10为94.2，优于所有同类模型且无需外部资源。
• 在FB15k数据集上，ITransF实现平均排名65和Hits@10为81.0，展现出对基线模型的一致性改进。
• 采用稀疏注意力向量的模型在FB15k上的每轮训练时间缩短至1分52秒，显著快于密集注意力方法。
• 块迭代优化算法成功诱导出稀疏性，相比$\\(ell_1$-正则化的密集注意力，其注意力模式更具可解释性和泛化能力。
• ITransF在预训练STransE矩阵上的稀疏编码方法上表现显著更优，表明端到端的链接预测优化比基于重构的稀疏性更有效。
• 所学习的注意力向量清晰揭示了共享概念如何组合以形成特定关系的投影，显著增强了模型的可解释性。