[논문 리뷰] Deep Bidirectional Language-Knowledge Graph Pretraining

Michihiro Yasunaga, Antoine Bosselut외 5명|arXiv (Cornell University)|2022. 10. 17.

Topic Modeling인용 수 87

한 줄 요약

Dragon은 텍스트와 지식 그래프(KG)에서 깊게 결합된 언어-지식 모델을 사전학습하며, MLM과 KG 링크 예측을 결합하여 일반 및 생의학 QA 과제 전반에서 강력한 향상을 달성하고, 복잡한 추론에서 +10%, 저자원 환경에서 +8%의 향상을 포함한다.

ABSTRACT

Pretraining a language model (LM) on text has been shown to help various downstream NLP tasks. Recent works show that a knowledge graph (KG) can complement text data, offering structured background knowledge that provides a useful scaffold for reasoning. However, these works are not pretrained to learn a deep fusion of the two modalities at scale, limiting the potential to acquire fully joint representations of text and KG. Here we propose DRAGON (Deep Bidirectional Language-Knowledge Graph Pretraining), a self-supervised approach to pretraining a deeply joint language-knowledge foundation model from text and KG at scale. Specifically, our model takes pairs of text segments and relevant KG subgraphs as input and bidirectionally fuses information from both modalities. We pretrain this model by unifying two self-supervised reasoning tasks, masked language modeling and KG link prediction. DRAGON outperforms existing LM and LM+KG models on diverse downstream tasks including question answering across general and biomedical domains, with +5% absolute gain on average. In particular, DRAGON achieves notable performance on complex reasoning about language and knowledge (+10% on questions involving long contexts or multi-step reasoning) and low-resource QA (+8% on OBQA and RiddleSense), and new state-of-the-art results on various BioNLP tasks. Our code and trained models are available at https://github.com/michiyasunaga/dragon.

연구 동기 및 목표

• 텍스트와 지식 그래프(KG)를 공동으로 모델링하여 깊이 있게 상호작용하는 표현을 학습하도록 동기를 부여한다.
• 텍스트와 KG 표현을 양방향으로 융합하는 확장 가능한 자기지도 사전학습 목표를 개발한다.
• 일반 도메인 및 생의학 과제 전반에서 접근법을 평가하여 향상된 추론 능력과 데이터 효율성을 입증한다.
• MLM과 KG 링크 예측을 결합한 공동 사전학습이 단일 목표나 비사전학습 기준선보다 더 강한 성능을 나타냄을 보여준다.

제안 방법

• 엔터티 연결 및 2-hop 확장을 통해 텍스트를 샘플링하고 관련 KG 부분 그래프를 검색하여 정합된(텍스트 세그먼트, 로컬 KG) 쌍을 구성한다.
• 다중 융합 층에서 텍스트 토큰 표현과 KG 노드 표현을 양방향으로 융합하기 위해 교차 모달 인코더(GreaseLM)를 사용한다.
• MLM과 KG 링크 예측(LinkPred)을 결합한 공동 목표로 사전학습한다.
• 절제 실험을 통해 다양한 KG 점수 함수(DistMult, TransE, RotatE)와 모달리티 상호작용 전략을 평가한다.
• 분류나 QA 과제에 대해 융합된 텍스트-KG 표현을 풀링하여 다운스트림 태스크를 미세 조정한다.

실험 결과

연구 질문

• RQ1 깊이 있는 양방향 자기지도 프리트레이닝이 대규모에서 텍스트와 KG 정보를 효과적으로 융합할 수 있는가?
• RQ2 공동 MLM 및 KG 링크 예측 목표가 단일 목표 프리트레이닝보다 더 강한 공동 표현을 제공하는가?
• RQ3 Dragon이 일반상식 추론 및 생의학 지향 QA 과제에서 LM만 사용한 Baseline과 KG 보강 Baseline보다 얼마나 더 잘 수행하는가?
• RQ4 KG 구조를 프리트레이닝 중 활용할 때 접근법이 데이터 효율성과 확장성 면에서 더 나은가?

주요 결과

모델	CSQA	OBQA	Riddle	ARC	CosmosQA	HellaSwag	PIQA	SIQA	aNLI
RoBERTa	68.7	64.9	60.7	43.0	80.5	82.3	79.4	75.9	82.7
QAGNN	73.4	67.8	67.0	44.4	80.7	82.6	79.6	75.7	83.0
GreaseLM	74.2	66.9	67.2	44.7	80.6	82.8	79.6	75.5	83.3
Dragon (Ours)	76.0	72.0	71.3	48.6	82.3	85.2	81.1	76.8	84.0

• Dragon은 RoBERTa 및 KG 보강 Baseline(QAGNN, GreaseLM)을 9개의 일반상식 추론 과제 전반에서 지속적으로 능가한다. 예를 들어 OBQA, CosmosQA, HellaSwag에서의 성과가 대표적이다.
• 복합 추론이 필요한 과제에서 상당한 향상을 보이며(예: 다단계/부정/긴 맥락 문제에서 +10%), 저자원 QA에서도 OBQA와 RiddleSense에서 +8%의 향상을 보인다.
• 일반 도메인 설정에서 Dragon은 기준선 대비 평균적으로 약 +5%의 절대 향상을 달성한다.
• 생의학 도메인에서 Dragon은 BioNLP 과제에서 새로운 최첨단 성능을 달성하고 MedQA와 PubMedQA에서 주목할 만한 개선을 보인다.
• 절제 분석에서 공동 MLM + LinkPred가 단일 목표보다 우수하고, 양방향 교차 모달 융합이 엔드-연결 또는 KG-문장으로 간주한 기준선보다 우수하다는 것을 보여준다.
• 모델 용량을 늘리면 Dragon에는 도움이 하지만 미세조정만 하는 기준선에는 도움이 되지 않아, 사전학습을 통한 데이터 효율적 확장이 가능함을 시사한다.