[论文解读] Generative Adversarial Zero-Shot Relational Learning for Knowledge Graphs

Pengda Qin, Xin Wang+4 more|arXiv (Cornell University)|Jan 8, 2020

Topic Modeling参考文献 28被引用 6

一句话总结

本文提出了一种用于零样本知识图谱补全的生成对抗框架，仅通过文本描述生成合理的关系嵌入，从而在无训练样本的情况下识别未见关系。通过结合TF-IDF加权词嵌入的条件生成对抗网络，该方法在NELL-ZS和Wiki-ZS数据集上对多种知识图谱嵌入模型均实现了稳定的性能提升，与基线方法相比，Hits@10最高提升12.3%。

ABSTRACT

Large-scale knowledge graphs (KGs) are shown to become more important in current information systems. To expand the coverage of KGs, previous studies on knowledge graph completion need to collect adequate training instances for newly-added relations. In this paper, we consider a novel formulation, zero-shot learning, to free this cumbersome curation. For newly-added relations, we attempt to learn their semantic features from their text descriptions and hence recognize the facts of unseen relations with no examples being seen. For this purpose, we leverage Generative Adversarial Networks (GANs) to establish the connection between text and knowledge graph domain: The generator learns to generate the reasonable relation embeddings merely with noisy text descriptions. Under this setting, zero-shot learning is naturally converted to a traditional supervised classification task. Empirically, our method is model-agnostic that could be potentially applied to any version of KG embeddings, and consistently yields performance improvements on NELL and Wiki dataset.

研究动机与目标

• 解决新增关系缺乏标注训练样本时的知识图谱补全挑战。
• 通过利用文本描述而非训练样本，实现对未见关系事实的零样本识别。
• 建立一种与模型无关的框架，可与任何现有知识图谱嵌入方法兼容。
• 通过TF-IDF加权和词嵌入抑制文本描述中的噪声，以提升嵌入质量。
• 在多种数据集和嵌入架构上展示一致的性能提升。

提出的方法

• 使用条件生成对抗网络（cGANs）从未见关系的原始文本描述中生成关系嵌入。
• 将带有预训练词嵌入（Word2Vec、BERT）的词袋模型作为生成器的输入。
• 对文本描述中的词语应用TF-IDF加权，以降低不相关词语的影响，提升噪声抑制效果。
• 通过对抗方式联合训练生成器与判别器，生成与语义聚类对齐的真实关系嵌入。
• 利用生成嵌入与聚类中心之间的余弦相似度评估嵌入质量。
• 通过模型无关设计支持任何知识图谱嵌入模型，可无缝集成TransE、DistMult等模型。

实验结果

研究问题

• RQ1 仅依靠文本描述能否有效生成未见关系的关系嵌入？
• RQ2 基于GAN的框架在无任何标注训练样本的情况下，能否对未见关系实现良好泛化？
• RQ3 对描述中词语应用TF-IDF加权是否能提升生成关系嵌入的质量？
• RQ4 所提方法在链接预测性能上与现有零样本和少样本基线相比表现如何？
• RQ5 该框架在不同知识图谱嵌入模型和数据集上是否具备鲁棒性和有效性？

主要发现

• 在NELL-ZS数据集上，该方法相较于最佳基线（ZS-DistMult）的Hits@10性能最高提升12.3%。
• 在NELL-ZS数据集上，该方法相比ZS-DistMult将MRR提升1.6%，Hits@10提升1.6%，且在不同嵌入模型上均保持一致增益。
• 该方法在NELL-ZS和Wiki-ZS两个数据集上均优于所有基线，展现出对多样化数据分布的鲁棒性。
• TF-IDF加权有效降低了文本描述中的噪声，表现为每条关系的高权重词数量减少至2–5个。
• 使用简单的词袋加TF-IDF方法优于复杂的神经编码器（如CNN、LSTM），原因在于其在对抗训练中表现出更好的泛化性和稳定性。
• 生成器生成的关系嵌入具有高度语义一致性，表现为与聚类中心的余弦相似度与下游链接预测性能之间存在显著正相关。