[논문 리뷰] Inductive Relation Prediction by BERT

Hanwen Zha, Zhiyu Chen외 1명|arXiv (Cornell University)|2021. 03. 12.

Advanced Graph Neural Networks인용 수 8

한 줄 요약

이 논문은 지식 그래프에서 유도적 관계 예측을 위한 BERT 기반 모델인 BertRL을 제안한다. 엔티티 간의 추론 경로를 인코딩하여 일반화 능력과 해석 가능성(해석 가능성)을 향상시킨다. BertRL은 지식 그래프에서 유도적 설정에서 최신 기술(SOTA) 수준의 성능을 달성하며, 평균 Hits@1에서 6.3% 향상되고 MRR에서 6.5% 향상되었다. 소수의 샘플(소수 학습) 환경에서도 최대 32.7%의 Hits@1 향상을 기록하여 뛰어난 일반화 성능를 보였다.

ABSTRACT

Relation prediction in knowledge graphs is dominated by embedding based methods which mainly focus on the transductive setting. Unfortunately, they are not able to handle inductive learning where unseen entities and relations are present and cannot take advantage of prior knowledge. Furthermore, their inference process is not easily explainable. In this work, we propose an all-in-one solution, called BERTRL (BERT-based Relational Learning), which leverages pre-trained language model and fine-tunes it by taking relation instances and their possible reasoning paths as training samples. BERTRL outperforms the SOTAs in 15 out of 18 cases in both inductive and transductive settings. Meanwhile, it demonstrates strong generalization capability in few-shot learning and is explainable.

연구 동기 및 목표

• 새로운 엔티티와 관계가 존재할 경우 재학습 없이도 처리할 수 없는 임bedding 기반 방법의 한계를 해결하기 위해.
• 사전 훈련된 언어 모델에 텍스트 맥락과 논리적 추론 경로를 통합하여 설명 가능하고 일반화 가능한 관계 예측을 가능하게 하기 위해.
• 기존 규칙 기반 및 신경망 기반 방법에서의 사전 지식 활용 부족과 낮은 소수 학습 성능 문제를 해결하기 위해.
• 유도적 및 비유도적 설정, 특히 새로운 관계가 포함된 경우에도 잘 작동하는 통합 프레임워크를 개발하기 위해.
• BERT 내에서 명시적인 경로 기반 추론이 암묵적인 엔티티-관계 인코딩보다 정확도와 해석 가능성에서 향상됨을 입증하기 위해.

제안 방법

• BertRL은 목표 삼중항 (h, r, t) 주변의 국소 서브그래프를 추론 경로 p: (h, r₀, e₁), (e₁, r₁, e₂), ..., (eₙ, rₙ, t)로 선형화하여 입력 시퀀스로 BERT에 입력한다.
• 입력을 자연어 시퀀스로 간주하여 BERT를 미세조정함으로써 관계 예측을 수행한다: 'h r t'에 이어 경로 기술을 입력한다.
• 추론 시 그래프에서 지식을 명시적으로 검색함으로써, 기억 기반 방법과는 달리 동적 추론과 해석 가능성을 제공한다.
• 엔티티 전용 임베딩에 의존하지 않기 때문에 유도적 학습을 지원하며, 새로운 엔티티에 대한 예측이 가능하다.
• 성능 및 효율성을 최적화하기 위해 복합 경로, 개별 경로, 경로 샘플링 등의 다양한 경로 인코딩 전략을 평가한다.
• 사전 훈련된 BERT가 텍스트에서 사실 지식를 캡처할 수 있는 능력을 활용하여, 훈련 데이터가 제한된 경우에도 성능 향상을 이룬다.

실험 결과

연구 질문

• RQ1 사전 훈련된 언어 모델인 BERT가 추론 경로를 활용하여 지식 그래프에서 유도적 관계 예측을 효과적으로 미세조정할 수 있는가?
• RQ2 BERT에 경로 기반 입력 표현을 사용할 경우, 엔티티-관계 삼중항만을 사용하는 경우에 비해 정확도와 일반화 능력에서 어떻게 다른가?
• RQ3 BertRL은 소수 학습 및 제로샷 설정에서 새로운 엔티티와 관계로 일반화할 수 있는 정도는 어느 정도인가?
• RQ4 기존의 임베딩 기반 모델과 달리, BertRL은 높은 성능과 해석 가능성을 동시에 달성할 수 있는가?
• RQ5 경로 인코딩 전략의 선택(예: 경로 샘플링, 복합 경로)이 모델 성능과 훈련 효율성에 어떤 영향을 미치는가?

주요 결과

• BertRL은 지식 그래프의 유도적 완성에서 최신 기술(SOTA) 기준 대비 평균 Hits@1에서 6.3% 절대 향상되고 MRR에서 6.5% 향상되었다.
• 소수 학습 환경에서는 Hits@1에서 최대 32.7% 절대 향상되고 MRR에서 27.8% 향상되어 기존 기준 대비 뚜렷한 성능 향상을 보였다.
• 모델는 새로운 관계로의 일반화 능력이 뛰어나 제로샷 관계 예측 가능성도 보였다.
• 단지 5~10개의 경로만을 사용한 경로 샘플링 전략이 거의 최적의 성능를 달성하여, 훈련 데이터 크기의 영향에 대해 뛰어난 내구성을 보였다.
• 절단 분석 결과, 복수의 경로를 조합하는 것이 개별 경로보다 성능 향상에 기여하지 않음을 확인하여, 데이터 부족 상황에서 BERT가 복잡한 입력을 처리하는 데 어려움을 겪는다는 점을 시사했다.
• BertRL은 TuckER, RuleN, KG-BERT와 같은 비유도적 및 유도적 최신 기술(SOTA) 방법을 다수 벤치마크에서 모두 능가하는 성능를 기록했다.