[논문 리뷰] KEPLER: A Unified Model for Knowledge Embedding and Pre-trained Language Representation

Xiaozhi Wang, Tianyu Gao외 5명|arXiv (Cornell University)|2019. 11. 13.

Topic Modeling참고 문헌 66인용 수 80

한 줄 요약

KEPLER는 엔티티 설명을 PLM을 통해 인코딩하고 지식 임베딩과 마스킹된 언어 모델링(MLM) 목표를 함께 최적화함으로써 지식 임베딩을 사전학습된 언어 모델과 통합하고, 귀납적 지식 임베딩과 NLP 성능 향상을 가능하게 한다.

ABSTRACT

Pre-trained language representation models (PLMs) cannot well capture factual knowledge from text. In contrast, knowledge embedding (KE) methods can effectively represent the relational facts in knowledge graphs (KGs) with informative entity embeddings, but conventional KE models cannot take full advantage of the abundant textual information. In this paper, we propose a unified model for Knowledge Embedding and Pre-trained LanguagE Representation (KEPLER), which can not only better integrate factual knowledge into PLMs but also produce effective text-enhanced KE with the strong PLMs. In KEPLER, we encode textual entity descriptions with a PLM as their embeddings, and then jointly optimize the KE and language modeling objectives. Experimental results show that KEPLER achieves state-of-the-art performances on various NLP tasks, and also works remarkably well as an inductive KE model on KG link prediction. Furthermore, for pre-training and evaluating KEPLER, we construct Wikidata5M, a large-scale KG dataset with aligned entity descriptions, and benchmark state-of-the-art KE methods on it. It shall serve as a new KE benchmark and facilitate the research on large KG, inductive KE, and KG with text. The source code can be obtained from https://github.com/THU-KEG/KEPLER.

연구 동기 및 목표

• 지식 그래프와 사전 학습된 언어 모델 간의 간극을 좁히기 위해 지식 임베딩과 언어 모델링을 함께 모델링한다.
• 엔티티 설명을 활용하여 텍스트로 강화된 지식 임베딩을 생성한다.
• 설명 텍스트를 통해 보지 못한 엔티티를 위한 귀납적 지식 임베딩을 설명 텍스트를 통해 가능하게 한다.
• 표준 PLMs를 넘지 않는 추론 오버헤드로 사실 정보를 통합하면서도 강력한 언어 이해를 유지한다.

제안 방법

• 공유된 PLM으로 텍스트 엔티티 설명을 인코딩하여 엔티티 임베딩을 얻는다.
• 단일 다중 작업 프레임워크에서 지식 임베딩(KE) 목표와 마스킹된 언어 모델링(MLM) 목표를 함께 최적화한다.
• 엔티티 설명을 임베딩으로 사용하는 KE 변형, 엔티티 및 관계 설명을 임베딩으로 사용하는 변형, 관계에 조건부인 엔티티 임베딩 등을 탐색한다.
• KE를 위해 음의 샘플링이 있는 TransE 유사 점수 함수를 사용하여 엔티티 및 관계 표현을 학습한다.
• RoBERTa base에서 초기화하고, 엔티티 설명의 처음 512 토큰에 KE 목표를 적용하여 Wikipedia 및 BookCorpus에서 사전 학습한다.

실험 결과

연구 질문

• RQ1 단일 모델이 지식 임베딩과 언어 모델링을 함께 학습하여 KG 태스크와 NLP 태스크를 모두 향상시킬 수 있는가?
• RQ2 엔티티 설명을 임베딩으로 인코딩하는 것이 귀납적 지식 임베딩과 링크 예측에 어떤 영향을 미치는가?
• RQ3 기존 베이스라인과 비교했을 때 KEPLER가 NLP 벤치마크와 KE 벤치마크에서 얻는 성능 향상은 어느 정도인가?
• RQ4 KE 목표가 사전 학습을 주도할 때 MLM 목표는 언어 이해에 여전히 중요한가?
• RQ5 대규모 KG 데이터에서의 KEPLER 성능과 미지의 엔티티가 있는 귀납적 설정에서의 성능은 어떠한가?

주요 결과

• KEPLER 변형들, 특히 KEPLER-Wiki는 TACRED, FewRel, OpenEntity, GLUE에서 베이스라인에 비해 NLP 태스크에서 강한 성능을 달성한다.
• KEPLER는 최첨단 성능에 준하는 결과를 보여주며 KG에서 파생된 지식을 도입할 때 관계 분류 및 엔티티 타이핑에서 뚜렷한 향상을 보인다.
• KEPLER는 Wikidata5M에서 트랜스덕티브(transductive) 및 귀납적(link) 예측에서 KE 모델로 탁월하며, 보지 못한 엔티티에 대한 효과적인 귀납적 능력을 강조한다.
• Wikidata5M은 엔티티 설명이 정렬되고 귀납적 분할이 포함된 대규모 KG 데이터셋으로 도입되어 대규모 KG 사전 학습 및 귀납적 KE를 벤치마킹한다.
• GLUE에서 KEPLER-Wiki는 RoBERTa에 근접하게 일치하여 지식 통합이 일반적인 언어 이해에 심하게 손상을 주지 않음을 시사하며, 설명만 사용한 작은 변형은 성능이 낮아지므로 다양한 MLM 데이터의 중요성을 강조한다.