[论文解读] KSR: A Semantic Representation of Knowledge Graph within a Novel Unsupervised Paradigm

Han Xiao, Minlie Huang+1 more|arXiv (Cornell University)|Aug 27, 2016

Advanced Graph Neural Networks参考文献 33被引用 4

一句话总结

本文提出KSR，一种新颖的无监督知识图嵌入模型，采用多视角聚类框架生成可解释的、语义丰富的实体与关系向量表示。通过在多个视角（如形状、内容）上建模语义结构，KSR在知识图补全、三元组分类、实体分类和实体检索任务中均达到最先进性能，显著优于TransE和NTN等基线方法。

ABSTRACT

Knowledge representation is a long-history topic in AI, which is very important. A variety of models have been proposed for knowledge graph embedding, which projects symbolic entities and relations into continuous vector space. However, most related methods merely focus on the data-fitting of knowledge graph, and ignore the interpretable semantic expression. Thus, traditional embedding methods are not friendly for applications that require semantic analysis, such as question answering and entity retrieval. To this end, this paper proposes a semantic representation method for knowledge graph extbf{(KSR)}, which imposes a two-level hierarchical generative process that globally extracts many aspects and then locally assigns a specific category in each aspect for every triple. Since both aspects and categories are semantics-relevant, the collection of categories in each aspect is treated as the semantic representation of this triple. Extensive experiments show that our model outperforms other state-of-the-art baselines substantially.

研究动机与目标

• 解决现有知识图嵌入方法依赖几何或黑箱神经分数函数所导致的语义可解释性弱的问题。
• 开发一种新颖的无监督范式，生成人类可读的、语义有意义的实体与关系表示。
• 通过利用基于语义聚类的表示，实现高效的实体检索。
• 建立形式化的语义原则，将聚类与语义在知识表示中联系起来。
• 在多个下游任务（包括知识图补全与推理）中证明模型的有效性。

提出的方法

• KSR采用基于多视角聚类的两级分层生成过程，以建模实体与关系。
• 每个实体通过在多个语义视角（如形状、内容）上的聚类隶属关系组合表示，形成语义向量。
• 模型使用生成框架，从知识图数据的多个视角推断聚类分配。
• 通过组合不同视角的聚类指标构建语义表示，每个视角捕捉一个独立的语义维度。
• 分数函数基于聚类隶属概率推导，实现对三元组的语义感知评分。
• 采用基于朴素贝叶斯的分类器，利用语义聚类结构增强实体检索性能。

实验结果

研究问题

• RQ1 多视角聚类能否被有效用于生成知识图中实体与关系的可解释语义表示？
• RQ2 所提出的KSR模型是否在知识图补全与分类任务中优于现有无监督知识嵌入方法？
• RQ3 基于语义聚类的表示能否提升使用自然语言描述进行实体检索的性能？
• RQ4 KSR在多大程度上能够建模复杂语义关系（如1-N、N-1和N-N关系），而不仅限于几何平移？
• RQ5 在不同知识图数据集上，'聚类即语义'这一语义原则在实践中有多成立？

主要发现

• KSR在知识图补全任务中显著优于TransE和NTN等强基线模型，三元组分类准确率大幅提升。
• 模型在实体分类任务中表现优异，表明基于聚类的表示能捕捉有意义的语义差异。
• 使用自然语言描述进行实体检索时，模型表现出高有效性，能根据语义聚类构成正确识别实体。
• 模型成功回答了多个事实性查询，如识别北京的邻省和中国的邻国，展示了联合知识与语言推理能力。
• 对于推理类查询（如识别中国最富裕的省份），模型部分正确回答，表明其具备超越简单事实检索的复杂推理能力。
• 消融实验表明，单视角聚类导致语义分离效果差，聚类混合多种语义，凸显多视角融合的必要性。