[论文解读] Leveraging Lexical Resources for Learning Entity Embeddings in Multi-Relational Data

Teng Long, Ryan Lowe+2 more|arXiv (Cornell University)|May 18, 2016

Topic Modeling参考文献 21被引用 3

一句话总结

本文提出使用外部资源中的词汇描述结合预训练词嵌入来初始化多关系模型中的实体嵌入，以提升性能和训练收敛速度。该方法应用于TransE模型后，在WordNet数据集上实现了51的新SOTA平均排名，较之前的212显著降低，同时加速了训练收敛。

ABSTRACT

Recent work in learning vector-space embeddings for multi-relational data has focused on combining relational information derived from knowledge bases with distributional information derived from large text corpora. We propose a simple approach that leverages the descriptions of entities or phrases available in lexical resources, in conjunction with distributional semantics, in order to derive a better initialization for training relational models. Applying this initialization to the TransE model results in significant new state-of-the-art performances on the WordNet dataset, decreasing the mean rank from the previous best of 212 to 51. It also results in faster convergence of the entity representations. We find that there is a trade-off between improving the mean rank and the hits@10 with this approach. This illustrates that much remains to be understood regarding performance improvements in relational models.

研究动机与目标

• 为解决现有关系模型依赖分布性词嵌入的问题，后者通常对罕见或领域特定实体覆盖不足。
• 通过整合WordNet和Freebase等词汇资源中的描述性文本，改进关系模型中实体嵌入的初始化。
• 评估词汇描述是否能提升多关系知识图谱嵌入任务中的模型性能与训练速度。
• 研究在关系模型性能评估中，平均排名与hits@10之间的权衡关系。
• 证明即使常见实体也能从基于词汇语义的更好初始化中获益，而不仅限于罕见实体。

提出的方法

• 从WordNet和Freebase等词汇资源中获取实体描述，通常包含简短定义或描述性句子。
• 使用预训练词嵌入（如Word2Vec、GloVe）将实体描述中的每个词转换为向量表示。
• 通过简单平均聚合每个描述中的词向量，形成实体的稠密向量表示。
• 将这些聚合后的向量用作TransE模型中的初始实体嵌入，替代随机初始化。
• 端到端训练TransE模型，同时利用结构化关系与词汇语义信息。
• 在评估过程中应用过滤机制，以确保与先前工作的公平比较，特别是在hits@10和平均排名指标上。

实验结果

研究问题

• RQ1 来自词汇资源的实体描述能否提升多关系知识图谱中学习到的实体嵌入质量？
• RQ2 使用词汇描述作为初始化是否能加快关系模型训练过程中的收敛速度？
• RQ3 在使用基于词汇的初始化时，模型在平均排名与hits@10上的性能表现如何变化？
• RQ4 为何该方法在WordNet上表现显著提升，而在Freebase上仅带来微小改进，尽管初始化方式相似？
• RQ5 在关系建模中，词汇描述对罕见与常见实体的受益程度如何？

主要发现

• 所提方法在WordNet数据集上实现了51的新SOTA平均排名，相比之前最佳的212有显著提升。
• 当使用词汇描述进行初始化时，模型在训练过程中收敛更快，尤其在WordNet数据集上表现明显。
• 在Freebase数据集上，该方法虽加快了收敛速度，但平均排名仅获得微小提升，表明优化景观或模型容量存在差异。
• 在平均排名与hits@10之间观察到权衡关系：平均排名的提升常以hits@10下降为代价，表明存在冲突的优化目标。
• 该方法减少了“灾难性”情况的发生，即正确实体被排在极低位置，这会显著影响平均排名。
• 结果表明，平均排名是评估原始数据上关系模型性能的更可靠指标，尤其在关系稀疏的情况下。