[논문 리뷰] Multi-task Pre-training Language Model for Semantic Network Completion

Da Li, Sen Yang외 4명|arXiv (Cornell University)|2022. 01. 13.

Advanced Graph Neural Networks인용 수 4

한 줄 요약

이 논문은 지식 그래프 완성에 적합한 다중 작업 미리 훈련된 언어 모델인 LP-BERT를 제안하며, 엔티티, 관계, 문맥 표현을 동시에 학습시켜 링크 예측 성능을 향상시킨다. 마스킹된 엔티티 및 관계 모델링 작업과 배치 기반 삼중항 스타일의 음성 샘플링 전략을 도입함으로써 LP-BERT는 최신 기술 수준의 성능을 달성하였으며, WN18RR에서 Hits@10 성능을 5% 향상시키고 UMLS에서는 100%를 달성하였다.

ABSTRACT

Semantic networks, such as the knowledge graph, can represent the knowledge leveraging the graph structure. Although the knowledge graph shows promising values in natural language processing, it suffers from incompleteness. This paper focuses on knowledge graph completion by predicting linkage between entities, which is a fundamental yet critical task. Semantic matching is a potential solution as it can deal with unseen entities, which the translational distance based methods struggle with. However, to achieve competitive performance as translational distance based methods, semantic matching based methods require large-scale datasets for the training purpose, which are typically unavailable in practical settings. Therefore, we employ the language model and introduce a novel knowledge graph architecture named LP-BERT, which contains two main stages: multi-task pre-training and knowledge graph fine-tuning. In the pre-training phase, three tasks are taken to drive the model to learn the relationship from triples by predicting either entities or relations. While in the fine-tuning phase, inspired by contrastive learning, we design a triple-style negative sampling in a batch, which greatly increases the proportion of negative sampling while keeping the training time almost unchanged. Furthermore, we propose a new data augmentation method utilizing the inverse relationship of triples to improve the performance and robustness of the model. To demonstrate the effectiveness of our method, we conduct extensive experiments on three widely-used datasets, WN18RR, FB15k-237, and UMLS. The experimental results demonstrate the superiority of our methods, and our approach achieves state-of-the-art results on WN18RR and FB15k-237 datasets. Significantly, Hits@10 indicator is improved by 5% from previous state-of-the-art result on the WN18RR dataset while reaching 100% on the UMLS dataset.

연구 동기 및 목표

• 미리 보지 못한 엔티티에 대한 링크 예측 성능 향상을 통해 지식 그래프의 불완전성 문제를 해결한다.
• 보편어 목록 외의 엔티티에서 실패하는 이동 거리 모델의 한계를 극복한다.
• 낮은 음성 샘플링 비율과 낮은 일반화 능력으로 인해 어려움을 겪는 의미 매칭 기반 모델을 향상시킨다.
• 구조적 및 비구조적 데이터로부터 관계적이고 의미적인 지식을 효과적으로 포착할 수 있는 미리 훈련 프레임워크를 개발한다.
• 역삼중항을 활용한 새로운 데이터 증강 기법을 통해 모델의 강건성과 성능을 향상시킨다.

제안 방법

• 맥락, 엔티티, 관계 표현을 학습하기 위해 마스킹된 언어 모델링(MLM), 마스킹된 엔티티 모델링(MEM), 마스킹된 관계 모델링(MRM)의 세 가지 작업을 포함하는 다중 작업 미리 훈련 단계를 도입한다.
• 대비 학습에 영감을 받은 배치 기반 삼중항 스타일의 음성 샘플링 전략을 설계하여, 훈련 시간을 늘리지 않고도 음성 샘플링 비율을 높인다.
• 삼중항의 역관계를 활용한 데이터 증강 방법을 제안하여 훈련 샘플의 다양성과 모델의 강건성을 향상시킨다.
• 일반화 성능 향상을 위해 대비 학습 기반의 목적 함수를 활용해 지식 그래프 완성 작업에 대해 미리 훈련된 모델을 미세조정한다.
• 의미 매칭을 위해 엔티티와 관계의 텍스트 기술을 BERT 스타일의 트랜스포머 아키텍처로 인코딩한다.
• 대규모 지식 그래프 삼중항에 대한 미리 훈련과 최종 링크 예측 작업에 대한 미세조정을 통합한다.

실험 결과

연구 질문

• RQ1 엔티티 및 관계 마스킹을 통한 다중 작업 미리 훈련이 지식 그래프에서 제로샷 및 희소한 샘플링 링크 예측 성능을 향상시키는가?
• RQ2 기본 음성 샘플링 방식과 비교해 배치 기반 삼중항 스타일의 음성 샘플링 전략이 모델 수렴과 성능에 어떤 영향을 미치는가?
• RQ3 역삼중항을 활용한 데이터 증강 기법이 모델의 일반화 능력과 강건성 향상에 얼마나 기여하는가?
• RQ4 의미 매칭 기반 모델이 이동 거리 모델을 능가할 수 있는가, 특히 미리 보지 못한 엔티티에 대해서는?
• RQ5 다양한 벤치마크에서 미리 훈련이 최종 지식 그래프 완성 성능에 어떤 영향을 미치는가?

주요 결과

• LP-BERT는 WN18RR 및 FB15k-237 데이터셋에서 최신 기술 수준의 성능을 달성하여 링크 예측 성능을 뛰어나게 했다.
• WN18RR에서 LP-BERT는 이전 최고 성능 결과 대비 Hits@10 성능을 5% 향상시켰으며, 뚜렷한 성능 향상을 입증하였다.
• UMLS 데이터셋에서는 LP-BERT가 Hits@10 100%를 달성하여 이 벤치마크에서 완벽한 성능을 보였다.
• 사례 연구 결과, LP-BERT는 MLM 전용 미리 훈련(평균 순위 3.4) 및 미리 훈련 없음(순위 8.2)보다 정확한 엔티티를 더 높은 순위에 랭크시켰으며, 평균 순위는 1.4였다.
• 제안된 배치 기반 음성 샘플링 전략은 훈련 효율성을 유지하면서도 음성 샘플링 비율을 크게 높였다.
• 역삼중항 기반 데이터 증강 방법은 특히 자원이 제한된 환경에서 모델의 강건성과 일반화 능력을 향상시켰다.