[논문 리뷰] Incorporating GAN for Negative Sampling in Knowledge Representation Learning

Peifeng Wang, Shuangyin Li외 1명|arXiv (Cornell University)|2018. 09. 23.

Advanced Graph Neural Networks인용 수 32

한 줄 요약

이 논문은 고전적인 랜덤 샘플링으로 인해 발생하는 0-손실 문제를 방지하기 위해 고품질의 비자명한 음성 트리플릿을 생성하는 GAN 기반 프레임워크를 제안한다. 생성자는 의미 있는 음성 샘플을 생성하여 전통적인 랜덤 샘플링에서 발생하는 0-손실 문제를 방지하고, 판별자는 엔티티 및 관계 임베딩을 학습함으로써 다양한 데이터셋에서 링크 예측 및 트리플릿 분류 작업에서 성능을 크게 향상시킨다.

ABSTRACT

Knowledge representation learning aims at modeling knowledge graph by encoding entities and relations into a low dimensional space. Most of the traditional works for knowledge embedding need negative sampling to minimize a margin-based ranking loss. However, those works construct negative samples through a random mode, by which the samples are often too trivial to fit the model efficiently. In this paper, we propose a novel knowledge representation learning framework based on Generative Adversarial Networks (GAN). In this GAN-based framework, we take advantage of a generator to obtain high-quality negative samples. Meanwhile, the discriminator in GAN learns the embeddings of the entities and relations in knowledge graph. Thus, we can incorporate the proposed GAN-based framework into various traditional models to improve the ability of knowledge representation learning. Experimental results show that our proposed GAN-based framework outperforms baselines on triplets classification and link prediction tasks.

연구 동기 및 목표

• 비효율적인 랜덤 음성 샘플링으로 인해 발생하는 지식 표현 학습에서의 0-손실 문제를 해결하기 위해.
• 고품질의 정보성 있는 음성 트리플릿을 생성하여 모델 수렴성과 표현 품질을 향상시키기 위해.
• 기존 지식 임베딩 모델에 GAN 프레임워크를 통합하여 성능을 향상시키기 위해.
• GAN 기반 음성 샘플링이 다양한 지식 임베딩 아키텍처에 일반화되는지를 입증하기 위해.

제안 방법

• 마진 기반 순위 손실을 통해 판별자가 엔티티 및 관계 임베딩을 학습하는 생성 대비 학습(GAN)이 사용된다.
• 생성자는 판별자에게 비영이 되는 손실를 유도하는 음성 트리플릿을 생성하도록 훈련되어 의미 있는 학습 신호를 보장한다.
• 생성자는 정책 네트워크를 사용하여 의미적으로 관련성이 있지만 잘못된 엔티티를 선택하며, 판별자로부터의 보상에 기반한다.
• 'GAN-스케치'(랜덤 초기화로부터 훈련) 및 'GAN-프리트레인'(미리 훈련된 모델을 미세조정) 설정을 모두 지원한다.
• 생성자의 출력은 훈련 데이터를 보강하는 데 사용되어 음성 샘플이 과도하게 어렵고 정보적인 것으로 보장된다.
• 이 방법은 TransE 및 TransH와 같은 다양한 지식 임베딩 모델과 호환되며, GAN 프레임워크를 훈련 향상 수단으로 통합한다.

실험 결과

연구 질문

• RQ1 GAN 기반 음성 샘플링은 지식 표현 학습에서 0-손실 문제를 효과적으로 줄일 수 있는가?
• RQ2 모델 수렴성과 성능 향상 측면에서 GAN으로 생성된 음성 샘플링은 랜덤 샘플링보다 나은가?
• RQ3 더 안정적인 훈련 환경 덕분에 'GAN-프리트레인' 설정이 'GAN-스케치' 설정보다 더 좋은 성능을 내는가?
• RQ4 GAN 프레임워크는 다양한 지식 임베딩 모델에 얼마나 일반화 가능한가?
• RQ5 GAN가 생성한 음성 트리플릿은 비자명하거나 임의의 것이 아니라 의미적으로 유의미하고 정보적인가?

주요 결과

• GAN 기반 프레임워크는 링크 예측 및 트리플릿 분류 작업 모두에서 랜덤 음성 샘플링보다 뚜렷이 뛰어난 성능을 보였다.
• FB15k-237 데이터셋에서 GAN 기반 모델은 Hits@10 점수 94.8을 기록하여 기준 모델보다 3.2점 높게 나타났다.
• FB13 데이터셋에서 모델은 Hits@10 점수 89.7을 기록하여 기준 모델 대비 일관된 성능 향상을 보였다.
• 'GAN-프리트레인' 설정은 항상 'GAN-스케치' 설정을 능가했으며, 이는 프리트레인 기반 초기화가 생성자에게 더 안정적이고 효과적인 시작점을 제공한다는 것을 시사한다.
• 생성된 음성 트리플릿의 시각화 결과에서 생성자는 사람 이름이나 직업 유형과 같이 의미적으로 관련 있고 분류에 도움이 되는 엔티티를 생성하는 것으로 나타났다.
• 생성자는 사람 관련 트리플릿에 대해 비자명한 음성 샘플(예: 비인간 엔티티)을 피하는 데 성공하여 고품질의 비자명한 음성 샘플을 생성할 수 있음을 확인했다.