[논문 리뷰] KG-BERT: BERT for Knowledge Graph Completion

Liang Yao, Chengsheng Mao외 1명|arXiv (Cornell University)|2019. 09. 07.

Advanced Graph Neural Networks참고 문헌 43인용 수 377

한 줄 요약

KG-BERT는 엔티티와 관계의 텍스트 표현을 사용하여 트리플을 점수화하기 위해 BERT를 미세조정하고, 여러 벤치마크에서 트리플 분류, 링크 예측 및 관계 예측에서 최첨단 결과를 달성합니다.

ABSTRACT

Knowledge graphs are important resources for many artificial intelligence tasks but often suffer from incompleteness. In this work, we propose to use pre-trained language models for knowledge graph completion. We treat triples in knowledge graphs as textual sequences and propose a novel framework named Knowledge Graph Bidirectional Encoder Representations from Transformer (KG-BERT) to model these triples. Our method takes entity and relation descriptions of a triple as input and computes scoring function of the triple with the KG-BERT language model. Experimental results on multiple benchmark knowledge graphs show that our method can achieve state-of-the-art performance in triple classification, link prediction and relation prediction tasks.

연구 동기 및 목표

• 완성도가 부족하고 희소성으로 인해 어려움을 겪는 지식 그래프 보완 문제를 동기 부여한다.
• BERT에 입력되는 텍스트 시퀀스로 (h, r, t) 트리플을 다루는 KG-BERT 프레임워크를 도입한다.
• 벤치마크 전반에서 트리플 분류, 링크 예측 및 관계 예측에 대해 최첨단 성능을 보여준다.
• 맥락적이고 텍스트가 강화된 표현이 KG에 대한 추론을 향상시킴을 보여준다.

제안 방법

• 헤드, 리레이션, 테일을 텍스트 설명이나 이름으로 표현하고 이를 BERT 입력 시퀀스로 패킹한다.
• 사전 학습된 BERT 모델을 미세조정하여 트리플의 타당성에 대해 2-class(양성/음성) 점수를 생성한다(KG-BERTa).
• 두 엔티티를 주면 관계를 예측하는 변형을 소프트맥스 over relations를 사용해 미세조정한다(KG-BERTb).
• 헤드나 테일을 바꿔 음수 샘플을 구성하고 이진 교차 엔트로피 손실로 트리플 분류를 학습한다.
• 표준 Adam 최적화를 사용하고 BERT 기반 미세조정 하이퍼파라미터(배치 크기 32, 학습률 5e-5, 드롭아웃 0.1)를 적용한다.
• 세 가지 작업(트리플 분류, 링크 예측, 관계 예측)에서 평가하되 실수 점수와 표준 지표를 사용한다.

실험 결과

연구 질문

• RQ1 KG-BERT가 보이지 않는 트리플(h, r, t)의 신뢰가능성을 정확하게 판단할 수 있는가?
• RQ2 KG-BERT가 주어진 두 엔티티 사이의 올바른 관계를 예측할 수 있는가?
• RQ3 최첨단 KG 임베딩과 비교하여 링크 예측 및 관계 예측에서 KG-BERT의 성능은 어떤가?
• RQ4 텍스트 설명과 맥락화된 임베딩 사용이 KG 보완 작업에 미치는 영향은 무엇인가?

주요 결과

• KG-BERT(a)는 WN11에서 93.5%, FB13에서 90.4%, 트리플 분류의 평균 91.9%를 달성하며(베이스라인을 능가).
• KG-BERT(a)는 WN18RR 및 FB15k-237에서 테스트 방법 중 최상의 평균 순위를 달성한다.
• KG-BERT(b)는 관계 예측 성능이 강하며 보고된 결과에서 FB15K에서 가장 높은 Hits@1을 달성한다.
• KG-BERT는 맥락 인식적이고 텍스트가 풍부한 표현과 토큰에 대한 어텐션으로 트리플 분류에서 상당한 개선을 보여준다.
• 어텐션 시각화는 엔티티와 관계를 연결하는 정보적 단어에 다중 헤드 어텐션이 집중되는 것을 보여준다.