[논문 리뷰] Generative Adversarial Zero-Shot Relational Learning for Knowledge Graphs

Pengda Qin, Xin Wang외 4명|arXiv (Cornell University)|2020. 01. 08.

Topic Modeling참고 문헌 28인용 수 6

한 줄 요약

이 논문은 텍스트 기반 설명만으로도 학습 예제 없이도 알려지지 않은 관계를 식별할 수 있도록, 텍스트 기반 설명에서 타당한 관계 임베딩을 생성하는 생성적 적대적 프레임워크를 제안한다. 조건부 GAN과 TF-IDF 가중치를 부여한 단어 임베딩을 활용하여, NELL-ZS 및 Wiki-ZS 데이터셋에서 다양한 지식 그래프 임베딩 모델에서 일관된 성능 향상을 달성하며, 최고의 베이스라인 대비 최대 12.3% 향상된 Hits@10 성능을 기록한다.

ABSTRACT

Large-scale knowledge graphs (KGs) are shown to become more important in current information systems. To expand the coverage of KGs, previous studies on knowledge graph completion need to collect adequate training instances for newly-added relations. In this paper, we consider a novel formulation, zero-shot learning, to free this cumbersome curation. For newly-added relations, we attempt to learn their semantic features from their text descriptions and hence recognize the facts of unseen relations with no examples being seen. For this purpose, we leverage Generative Adversarial Networks (GANs) to establish the connection between text and knowledge graph domain: The generator learns to generate the reasonable relation embeddings merely with noisy text descriptions. Under this setting, zero-shot learning is naturally converted to a traditional supervised classification task. Empirically, our method is model-agnostic that could be potentially applied to any version of KG embeddings, and consistently yields performance improvements on NELL and Wiki dataset.

연구 동기 및 목표

• 라벨이 없는 훈련 예제가 존재하는 새로운 관계에 대해 지식 그래프 보완 문제를 해결하는 것.
• 학습 예제 대신 텍스트 기반 설명을 활용하여 알려지지 않은 관계 사실을 제로샷으로 인식할 수 있도록 하는 것.
• 기존 지식 그래프 임베딩 방법과 어떤 것도 호환 가능한 모델에 종속되지 않는 프레임워크를 구축하는 것.
• TF-IDF 가중치와 단어 임베딩을 사용하여 텍스트 기반 설명의 노이즈를 억제하고 임베딩 품질을 향상시키는 것.
• 다양한 데이터셋과 임베딩 아키텍처에서 일관된 성능 향상을 입증하는 것.

제안 방법

• 미리 정의되지 않은 관계의 원시 텍스트 기반 설명에서 관계 임베딩을 생성하기 위해 조건부 생성적 적대적 네트워크(cGANs)를 사용한다.
• 생성기의 입력으로 사전 학습된 단어 임베딩(Word2Vec, BERT)을 사용한 백오브워즈 모델을 활용한다.
• TF-IDF 가중치를 적용하여 관련성이 낮은 단어의 영향을 감소시키고 텍스트 기반 설명의 노이즈 억제를 향상시킨다.
• 생성기와 판별기를 적대적으로 훈련시켜 의미적 군집과 일치하는 현실적인 관계 임베딩을 생성한다.
• 생성된 임베딩과 군집 중심 간의 코사인 유사도를 사용하여 임베딩 품질을 평가한다.
• TransE, DistMult 등 다양한 지식 그래프 임베딩 모델과 즉각 통합 가능한 모델에 종속되지 않는 프레임워크를 제공한다.

실험 결과

연구 질문

• RQ1 원시 텍스트 기반 설명만으로도 알려지지 않은 관계의 임베딩을 효과적으로 생성할 수 있는가?
• RQ2 라벨이 없는 훈련 예제가 전혀 없는 상황에서 GAN 기반 프레임워크가 알려지지 않은 관계로 일반화하는 데 얼마나 잘 성능을 내는가?
• RQ3 기본 설명의 단어에 TF-IDF 가중치를 적용하면 생성된 관계 임베딩의 품질이 향상되는가?
• RQ4 기존의 제로샷 및 희소한 샘플 기반 베이스라인과 비교해 링크 예측 성능에서 본 방법은 어떠한가?
• RQ5 다양한 지식 그래프 임베딩 모델과 데이터셋에서 프레임워크가 강건하고 효과적인가?

주요 결과

• NELL-ZS 데이터셋에서 제안된 방법은 최고의 베이스라인(ZS-DistMult) 대비 최대 12.3% 높은 Hits@10 성능을 기록한다.
• NELL-ZS 데이터셋에서 ZS-DistMult 대비 MRR 1.6% 향상되고 Hits@10도 1.6% 향상되며, 다양한 임베딩 모델에서 일관된 성능 향상을 보인다.
• NELL-ZS 및 Wiki-ZS 데이터셋 양쪽에서 모든 베이스라인을 능가하며, 다양한 데이터 분포에 걸쳐 강건성을 입증한다.
• TF-IDF 가중치가 텍스트 기반 설명의 노이즈를 효과적으로 감소시키며, 관계당 고가중치 단어 수가 2~5개로 줄어든 것으로 확인된다.
• 복잡한 신경망 인코더(CNN, LSTM 등)보다 단순한 백오브워즈 모델에 TF-IDF를 적용한 것이 더 우수한 일반화 성능과 적대적 훈련의 안정성 덕분에 성능이 뛰어나다.
• 생성기에서 생성된 관계 임베딩는 높은 의미적 일관성을 가지며, 군집 중심과의 코사인 유사도와 후행 링크 예측 성능 간 강한 정적 상관관계로 입증된다.