[论文解读] Entity Embeddings with Conceptual Subspaces as a Basis for Plausible Reasoning

Shoaib Jameel, Steven Schockaert|arXiv (Cornell University)|Feb 18, 2016

Advanced Graph Neural Networks参考文献 30被引用 14

一句话总结

本文提出一种通过约束相同语义类型的实体位于低维子空间来学习实体嵌入的方法，利用核范数正则化自动识别相关维度。该方法通过将自然属性建模为凸区域、显著特征建模为方向，实现合理的推理，在FB15k和FB13上的链接预测与三元组分类任务中优于基线模型。

ABSTRACT

Conceptual spaces are geometric representations of conceptual knowledge, in which entities correspond to points, natural properties correspond to convex regions, and the dimensions of the space correspond to salient features. While conceptual spaces enable elegant models of various cognitive phenomena, the lack of automated methods for constructing such representations have so far limited their application in artificial intelligence. To address this issue, we propose a method which learns a vector-space embedding of entities from Wikipedia and constrains this embedding such that entities of the same semantic type are located in some lower-dimensional subspace. We experimentally demonstrate the usefulness of these subspaces as (approximate) conceptual space representations by showing, among others, that important features can be modelled as directions and that natural properties tend to correspond to convex regions.

研究动机与目标

• 为解决人工智能中概念空间表示自动化构建方法的缺乏问题。
• 通过几何结构建模模糊性、归纳推理和相似性，实现合理推理。
• 学习与领域无关的向量空间嵌入，使得相同语义类型的实体位于专用子空间中。
• 利用维基百科文本和Wikidata知识，创建概念空间的忠实近似。
• 评估所学子空间在类比推理、链接预测和三元组分类等推理任务中的实用性。

提出的方法

• 使用共享嵌入层的深度神经网络，从维基百科文本和Wikidata中学习实体嵌入。
• 应用核范数正则化，强制相同语义类型的实体嵌入到低秩子空间中，以促进紧凑且有意义的表示。
• 利用所学子空间将显著特征建模为向量空间中的方向，实现语义维度的可解释性。
• 使用负采样和基于能量的评分函数进行模型训练，以优化链接预测和三元组分类。
• 引入实体的词袋表示，以丰富关系三元组之外的语义信息。
• 为三元组分类使用关系特定的阈值，通过验证集优化学习得到。

实验结果

研究问题

• RQ1 被约束在语义类型特定子空间中的实体嵌入能否作为概念空间的有效近似？
• RQ2 领域中的显著特征是否对应于所学向量空间中可识别的方向？
• RQ3 自然属性能否在所学子空间中被建模为凸区域？
• RQ4 该方法是否支持合理推理，例如基于与中心点距离的归纳推理？
• RQ5 与现有基线相比，该模型在标准知识图谱基准任务上的表现如何？

主要发现

• 在FB15k上，EECS模型的平均排名（Mean Rank）为48，HITS@10为89.7，优于所有标准基线模型。
• 在FB13数据集上，该模型性能与TransH相当，表明即使文本特征效果较弱，模型仍具鲁棒性。
• EECS${}_{\text{type-comb}}$变体在FB15k上取得了89.9的最高HITS@10得分，证明了结合类型与关系信息的优势。
• 模型成功将人口、年龄等数值属性建模为向量空间中的方向，支持可解释性。
• 基于到中心点距离的归纳推理被有效捕捉，验证了概念空间类比的有效性。
• 核范数正则化自动选择了每种语义类型下的最优维度数，提升了泛化能力与可解释性。