[论文解读] Joint Embedding of Hierarchical Categories and Entities for Concept Categorization and Dataless Classification

Yuezhang Li, Ronghuo Zheng+4 more|arXiv (Cornell University)|Jul 27, 2016

Text and Document Classification Technologies参考文献 21被引用 41

一句话总结

该论文提出了一种联合嵌入框架，通过整合大规模知识库中的层次化类别结构和实体表示，以提升语义相关性建模效果。通过将 skip-gram 模型扩展为包含类别上下文，并利用 HCE 模型引入祖先类别，该方法在概念分类（Battig 数据集纯度 87%，DOTA-all 数据集纯度 92%）和无数据层次分类任务中均达到当前最优性能，在 20Newsgroups 和 RCV1 数据集上均优于先前方法。

ABSTRACT

Due to the lack of structured knowledge applied in learning distributed representation of cate- gories, existing work cannot incorporate category hierarchies into entity information. We propose a framework that embeds entities and categories into a semantic space by integrating structured knowledge and taxonomy hierarchy from large knowledge bases. The framework allows to com- pute meaningful semantic relatedness between entities and categories. Our framework can han- dle both single-word concepts and multiple-word concepts with superior performance on concept categorization and yield state of the art results on dataless hierarchical classification.

研究动机与目标

• 解决现有实体嵌入方法中缺乏结构化类别知识的问题，该问题限制了实体与类别之间的语义相关性。
• 开发一种联合学习实体与类别嵌入的框架，同时保留知识库中的层次分类结构。
• 通过利用实体与类别嵌入作为文档表示的语义代理，实现无标注训练数据的无数据层次分类。
• 构建一个新的基于 Wikipedia 的数据集，用于概念分类任务，以支持对类别感知实体表示的评估。
• 展示实体嵌入在无训练数据或零样本分类任务中的实用性，其中训练数据不可用。

提出的方法

• 类别嵌入（CE）模型通过将上下文词替换为直接标注的类别，扩展了 skip-gram 模型，从而实现实体与类别向量的联合学习。
• 层次化类别嵌入（HCE）模型通过在上下文中引入实体的所有祖先类别，增强了 CE 模型，以捕捉层次语义。
• 该框架使用负采样和随机梯度下降优化 skip-gram 目标，以最大化从目标实体预测上下文类别的可能性。
• 多词实体的嵌入通过平均词向量生成，而类别嵌入则通过相同的优化过程端到端学习。
• 在无数据分类中，通过匈牙利算法使用实体嵌入对 ESA（显式语义分析）向量进行密集化处理，以计算文档与类别描述之间的相似度。
• 采用基于阈值的自底向上分类算法，使用学习到的阈值 δ = 0.95，实现无需标注训练数据的层次分类。

实验结果

研究问题

• RQ1 与将类别视为外部标签的模型相比，联合嵌入实体与类别是否能提升它们之间的语义相关性建模？
• RQ2 引入层次化类别结构（如祖先类别）对实体与类别表示的质量有何影响？
• RQ3 从知识库中提取的实体嵌入能否作为无数据层次分类的有效语义代理？
• RQ4 类别感知的实体嵌入在概念分类任务中，相较于仅使用词或仅使用实体的基线模型，优势有多大？
• RQ5 联合建模实体与层次化类别是否能提升零样本或无数据分类场景下的性能？

主要发现

• HCE 模型在 Battig 概念分类基准上达到 87% 的纯度，在 DOTA-all 上达到 92%，优于现有方法。
• 在 20Newsgroups 数据集上，基于 HCE 的 ESA 密集化方法实现了 0.682 的 micro-F1，超越所有竞争基线。
• 在 RCV1 数据集上，HCE 增强的 ESA 模型达到 0.371 的 micro-F1，证明其在无数据层次分类中的一致优越性。
• HCE 模型优于 TransE 2 和 HEE，表明层次结构的整合可提升嵌入质量。
• 实体嵌入（如 HCE、HEE）在无数据分类中显著优于词嵌入，证实了实体级语义的价值。
• 从单字实体到多字实体分类性能的下降凸显了简单平均方法的局限性，强调了更优多字实体表示学习的必要性。