[论文解读] Concept2vec: Metrics for Evaluating Quality of Embeddings for Ontological Concepts

Faisal Alshargi, Saeedeh Shekarpour+2 more|arXiv (Cornell University)|Mar 12, 2018

Advanced Graph Neural Networks参考文献 26被引用 8

一句话总结

本文提出了一套系统性的内在评估框架，用于评估知识图谱中本体概念嵌入的质量，重点关注分类、层次结构和关系结构。该框架引入了三项针对不同任务的评估，采用定制化指标，实验表明单一模型在所有方面均无全面优势——GloVe在维基百科上训练的模型在关系任务中表现最佳，而不同模型和数据源的表现差异显著。

ABSTRACT

Although there is an emerging trend towards generating embeddings for primarily unstructured data and, recently, for structured data, no systematic suite for measuring the quality of embeddings has been proposed yet. This deficiency is further sensed with respect to embeddings generated for structured data because there are no concrete evaluation metrics measuring the quality of the encoded structure as well as semantic patterns in the embedding space. In this paper, we introduce a framework containing three distinct tasks concerned with the individual aspects of ontological concepts: (i) the categorization aspect, (ii) the hierarchical aspect, and (iii) the relational aspect. Then, in the scope of each task, a number of intrinsic metrics are proposed for evaluating the quality of the embeddings. Furthermore, w.r.t. this framework, multiple experimental studies were run to compare the quality of the available embedding models. Employing this framework in future research can reduce misjudgment and provide greater insight about quality comparisons of embeddings for ontological concepts. We positioned our sampled data and code at https://github.com/alshargi/Concept2vec under GNU General Public License v3.0.

研究动机与目标

• 解决知识图谱中本体概念嵌入缺乏系统性内在评估方法的问题。
• 开发一个全面的评估框架，以捕捉概念嵌入的语义、结构和关系特性。
• 比较在DBpedia和维基百科上训练的流行嵌入模型（skip-gram、CBOW、GloVe）在本体概念表示中的性能表现。
• 为研究人员提供可重用的指标和代码，以确保嵌入模型质量比较的公平性与一致性。
• 识别不同模型在表示本体特征（如层次结构和关系）方面的特定优势与局限性。

提出的方法

• 提出三项评估任务：(i) 分类，(ii) 层次结构，(iii) 嵌入中的关系模式。
• 针对每项任务，基于语义相似性和向量运算定义内在指标，例如在关系任务中使用余弦相似度衡量过渡距离。
• 使用过渡距离度量 Tr(c_i + p_i, c_j) = s(V_c_i + V_p_i, V_c_j) 来评估领域概念向量与属性向量之和是否能导向目标概念的嵌入向量。
• 采用经筛选的12个DBpedia对象属性，其已知的领域和范围概念用于测试关系一致性。
• 在维基百科和DBpedia语料库上训练并评估多种嵌入模型（skip-gram、CBOW、GloVe）。
• 将数据集和代码在GNU GPL v3.0许可下公开，以确保可复现性和社区使用。

实验结果

研究问题

• RQ1 哪种嵌入模型最能保持本体概念在嵌入空间中的分类特性？
• RQ2 嵌入模型在多大程度上能捕捉概念之间的层次关系？
• RQ3 嵌入模型在多大程度上能反映知识图谱的关系结构，特别是基于属性的过渡？
• RQ4 在结构化知识图谱（如DBpedia）上训练是否能产生优于在非结构化文本（如维基百科）上训练的嵌入？
• RQ5 在评估本体概念的不同方面时，不同模型是否表现出一致的性能差异？

主要发现

• 在维基百科上训练的GloVe嵌入在关系任务中表现最佳，'largestCountry'关系的过渡距离得分为0.878。
• 'officialLanguage'关系在维基百科上使用GloVe时取得最高过渡得分（0.721），表明其具有强大的关系泛化能力。
• 无单一模型在所有任务中占优：skip-gram在分类任务中表现最佳，而CBOW和GloVe在层次结构评估中表现更强。
• 尽管有预期，但DBpedia训练的嵌入并未始终优于维基百科训练的嵌入，可能由于数据规模和模型在捕捉本体结构方面的局限性。
• RDF2Vec和RDF(GloVe)方法在区分概念、属性和实例方面表现较弱，导致本体特征表示不理想。
• 结果表明，为全面捕捉本体概念的语义、结构和关系特性，可能需要整合多个模型的嵌入。