[논문 리뷰] Integrating Graph Contextualized Knowledge into Pre-trained Language Models

Bin He, Di Zhou외 5명|arXiv (Cornell University)|2019. 11. 30.

Topic Modeling참고 문헌 23인용 수 41

한 줄 요약

이 논문은 임의의 지식 하위 그래프를 활용해 그래프 맥락화 지식을 BERT 기반의 의학 언어 모델에 주입하는 KG-Transformer 기반 지식 표현 학습을 소개하며 의학 NLP 과제에서 최첨단 성능을 달성한다.

ABSTRACT

Complex node interactions are common in knowledge graphs, and these interactions also contain rich knowledge information. However, traditional methods usually treat a triple as a training unit during the knowledge representation learning (KRL) procedure, neglecting contextualized information of the nodes in knowledge graphs (KGs). We generalize the modeling object to a very general form, which theoretically supports any subgraph extracted from the knowledge graph, and these subgraphs are fed into a novel transformer-based model to learn the knowledge embeddings. To broaden usage scenarios of knowledge, pre-trained language models are utilized to build a model that incorporates the learned knowledge representations. Experimental results demonstrate that our model achieves the state-of-the-art performance on several medical NLP tasks, and improvement above TransE indicates that our KRL method captures the graph contextualized information effectively.

연구 동기 및 목표

• 지식 그래프의 임의의 하위 그래프를 모델링하여 단일 삼중항이 아닌 더 풍부한 노드 표현 학습을 촉진한다.
• 하위 그래프로부터 엔티티와 관계 임베딩을 함께 학습하기 위해 Transformer 기반 KG-Transformer를 개발한다.
• 학습된 그래프 지식을 사전 학습된 언어 모델에 통합하여 의학 NLP 작업을 강화한다.
• 의학 도메인에서 엔터티 유형 분류와 관계 분류의 성능 향상을 보여준다.

제안 방법

• 하위 그래프를 노드 시퀀스로 표현하고 관계를 그래프 노드로 변환하여 엔터티와 관계의 공동 학습을 가능하게 한다.
• 그래프 연결성을 존중하는 마스킹된 어텐션 메커니즘을 사용하는 Transformer 기반 KG-Transformer로 그래프 구조 입력을 인코딩한다.
• 복원된 삼중항에 대해 여유(margin) 기반의 번역 에너지 손실로 지식 임베딩을 얻는 훈련을 한다.
• KG 유도 임베딩을 대규모 PubMed/의학 코퍼스와 통합하여 의학 언어 모델(BERT-MK)을 사전 학습한다.
• 엔터티 유형 분류 및 관계 분류 데이터셋에서 평가하여 BERT-패밀리 기초모형 및 TransE 기반 방법과 비교한다.

실험 결과

연구 질문

• RQ1 Transformer를 사용해 임의의 하위 그래프를 모델링하는 것이 TransE와 같은 삼중항 기반 접근법에 비해 지식 표현을 향상시키는가?
• RQ2 KG-Transformer를 통해 그래프-맥락화된 지식이 사전 학습 언어 모델의 의학 NLP 작업 성능을 향상시킬 수 있는가?
• RQ3 관계 분류 및 엔터티 유형화에서 KG-Transformer가 전통적인 KRL 방법과 어떻게 비교되는가?
• RQ4 그래프 보강 언어 모델의 효과에 대한 사전 학습 데이터 규모의 영향은 얼마나 되는가?
• RQ5 학습된 엔터티 및 관계 임베딩이 BERT 기반 의학 언어 모델의 다운스트림 작업에서 어떻게 상호 작용하는가?

주요 결과

• BERT-MK가 평균 엔터티 유형 분류 정확도에서 BERT-Base, BioBERT, SCIBERT를 능가한다(각각 97.26 대 97.24, 97.02, 97.26).
• 관계 분류에서 BERT-MK가 데이터셋 전반에 걸쳐 더 높은 평균 F1을 달성한다(81.23 P, 85.32 R, 83.02 F1) 기초모형과 비교하여.
• KG-Transformer 기반 지식 표현은 MedERNIE(TransE 기반)와 비교하여 두 개의 관계 분류 데이터셋에서 F1이 각각 0.9 및 0.64 더 높다.
• 사전 학습 데이터가 증가함에 따라 BERT-MK가 MedERNIE에 대해 지속적으로 우위를 보이며, 더 풍부한 의학 지식의 통합 이점을 시사한다.
• 의학 사전 학습 데이터의 겨우 10–20%를 사용해도 BERT-MK가 BioBERT를 능가할 수 있어, 지식 통합이 계산 비용을 줄이면서 성능을 향상시킬 수 있음을 시사한다.