[论文解读] Incorporating GAN for Negative Sampling in Knowledge Representation Learning

Peifeng Wang, Shuangyin Li+1 more|arXiv (Cornell University)|Sep 23, 2018

Advanced Graph Neural Networks被引用 32

一句话总结

本文提出了一种基于生成对抗网络（GAN）的知识表征学习框架，通过生成高质量、非平凡的负三元组来改进负采样。生成器生成具有信息量的负样本，以防止传统随机采样中的零损失问题，而判别器则学习实体和关系的嵌入表示，显著提升了在多个数据集上的链接预测和三元组分类任务的性能。

ABSTRACT

Knowledge representation learning aims at modeling knowledge graph by encoding entities and relations into a low dimensional space. Most of the traditional works for knowledge embedding need negative sampling to minimize a margin-based ranking loss. However, those works construct negative samples through a random mode, by which the samples are often too trivial to fit the model efficiently. In this paper, we propose a novel knowledge representation learning framework based on Generative Adversarial Networks (GAN). In this GAN-based framework, we take advantage of a generator to obtain high-quality negative samples. Meanwhile, the discriminator in GAN learns the embeddings of the entities and relations in knowledge graph. Thus, we can incorporate the proposed GAN-based framework into various traditional models to improve the ability of knowledge representation learning. Experimental results show that our proposed GAN-based framework outperforms baselines on triplets classification and link prediction tasks.

研究动机与目标

• 为解决因低效的随机负采样导致的知识表征学习中的零损失问题。
• 通过生成高质量、具有信息量的负三元组，提升模型收敛速度和表征质量。
• 将GAN框架整合到现有知识嵌入模型中，以增强其性能。
• 证明基于GAN的负采样可泛化至不同知识嵌入架构。

提出的方法

• 采用生成对抗网络（GAN），其中判别器通过基于边距的排序损失学习实体和关系的嵌入表示。
• 生成器被训练以生成使判别器产生非零损失的负三元组，从而确保有意义的训练信号。
• 生成器使用策略网络基于判别器提供的奖励，采样语义相关但错误的实体。
• 该框架支持两种设置：'GAN-scratch'（从随机初始化开始训练）和'GAN-pretrain'（微调预训练模型）。
• 生成器的输出用于增强训练数据，确保负样本具有挑战性和信息量。
• 该方法可通过将GAN框架作为训练增强手段，兼容多种知识嵌入模型，如TransE和TransH。

实验结果

研究问题

• RQ1 基于GAN的负采样能否有效缓解知识表征学习中的零损失问题？
• RQ2 与随机采样相比，基于GAN生成的负采样在提升模型收敛速度和性能方面表现如何？
• RQ3 'GAN-pretrain'设置是否因训练环境更稳定，而优于从零开始训练的'GAN-scratch'设置？
• RQ4 该GAN框架在多大程度上可泛化至不同知识嵌入模型？
• RQ5 GAN生成的负三元组是否具有语义意义且信息丰富，而非平凡或随机？

主要发现

• 基于GAN的框架在链接预测和三元组分类任务上显著优于随机负采样。
• 在FB15k-237数据集上，基于GAN的模型Hits@10得分为94.8，较基线模型高出3.2分。
• 在FB13数据集上，模型Hits@10得分为89.7，显示出对基线模型的一致性提升。
• 'GAN-pretrain'设置始终优于'GAN-scratch'设置，表明预训练为生成器提供了更稳定且高效的初始化起点。
• 对生成负三元组的可视化显示，生成器能产出语义相关且信息丰富的实体（如人名和职业类型），有助于判别任务。
• 生成器成功避免了平凡负样本（如为人物相关三元组生成非人物实体），证实其能生成高质量、非平凡的负样本。