[논문 리뷰] LinkBERT: Pretraining Language Models with Document Links

Michihiro Yasunaga, Jure Leskovec외 1명|arXiv (Cornell University)|2022. 03. 29.

Topic Modeling인용 수 11

한 줄 요약

LinkBERT는 위키백과의 하이퍼링크 및 PubMed의 인용 링크와 같은 문서 간 링크를 활용하여 다단계 추론과 지식 통합을 향상시키는 새로운 언어 모델 사전학습 방법이다. 연결된 문서 쌍을 사용하여 마스크된 언어 모델링과 문서 관계 예측을 함께 학습함으로써, LinkBERT는 USMLE에서 +7%의 정확도 및 HotpotQA에서 +5%의 F1 점수 향상을 달성하여 최신 기준 성능을 확립한다.

ABSTRACT

Language model (LM) pretraining can learn various knowledge from text corpora, helping downstream tasks. However, existing methods such as BERT model a single document, and do not capture dependencies or knowledge that span across documents. In this work, we propose LinkBERT, an LM pretraining method that leverages links between documents, e.g., hyperlinks. Given a text corpus, we view it as a graph of documents and create LM inputs by placing linked documents in the same context. We then pretrain the LM with two joint self-supervised objectives: masked language modeling and our new proposal, document relation prediction. We show that LinkBERT outperforms BERT on various downstream tasks across two domains: the general domain (pretrained on Wikipedia with hyperlinks) and biomedical domain (pretrained on PubMed with citation links). LinkBERT is especially effective for multi-hop reasoning and few-shot QA (+5% absolute improvement on HotpotQA and TriviaQA), and our biomedical LinkBERT sets new states of the art on various BioNLP tasks (+7% on BioASQ and USMLE). We release our pretrained models, LinkBERT and BioLinkBERT, as well as code and data at https://github.com/michiyasunaga/LinkBERT.

연구 동기 및 목표

• 기존 언어 모델이 단일 문서에서만 사전학습을 수행하여 문서 간 지식 의존성을 포착하지 못하는 한계를 해결하기 위해.
• 하이퍼링크, 인용 등 문서 링크가 사전학습 중 다단계 지식의 근원으로 기능할 수 있는지 탐색하기 위해.
• 문서 수준의 관계 신호를 통합하여 지식 집약적인 자연어 처리 작업(예: 질의 응답 및 추론)의 성능을 향상시키기 위해.
• 문서-링크 네트워크 기반의 그래프 학습과 언어 모델링을 융합한 자기지도 사전학습 프레임워크를 개발하기 위해.
• 도메인 특화 버전(BioLinkBERT)을 사용하여 생물의학 및 일반 도메인 자연어 처리 벤치마크에서 새로운 최고 성능 기록을 수립하기 위해.

제안 방법

• 링크된 문서 쌍을 사용하여 마스크된 언어 모델링과 문서 관계 예측을 동시에 학습함으로써, 링크된 문서 쌍을 기반으로 한 문서 간 관계를 학습한다.
• 소스 문서 세그먼트 다음에 연속된 세그먼트(동일 문서), 무작위 세그먼트(관련 없는 문서), 또는 연결된 세그먼트(하이퍼링크 또는 인용으로 연결됨)를 배치하여 입력 시퀀스를 구성한다.
• 마스크된 언어 모델링(MLM)과 문서 관계 예측(DRP)이라는 두 가지 자기지도 목적함수를 함께 학습한다.
• DRP를 통해 두 입력 세그먼트 간의 관계를 연속, 무작위, 연결로 분류함으로써, 모델이 다단계 개념과 관련성을 학습하도록 유도한다.
• 위키백과의 하이퍼링크(일반 도메인)와 PubMed의 인용 링크(생물의학 도메인)를 사용하여 두 도메인에서 사전학습을 수행한다.
• 최종적으로 생성된 모델(LinkBERT 및 BioLinkBERT)을 질의 응답 및 텍스트 분류와 같은 다운스트림 작업에 미세조정한다.

실험 결과

연구 질문

• RQ1 사전학습 중 문서 링크를 통합하면 지식 집약적인 작업에서 언어 모델 성능이 향상되는가?
• RQ2 기본적인 BERT 방식의 사전학습과 비교해 문서 링크 사용이 다단계 추론 능력을 향상시키는가?
• RQ3 일반 및 생물의학 도메인의 다운스트림 벤치마크에서 LinkBERT가 BERT 및 PubMedBERT와 같은 기존 모델보다 우수한가?
• RQ4 문서 링크가 소수 샘플 및 제로샷 질의 응답 성능에 얼마나 기여하는가?
• RQ5 더 작은 도메인 특화 모델인 BioLinkBERT가 전문화된 추론 작업에서 더 큰 일반 도메인 모델을 능가할 수 있는가?

주요 결과

• MRQA 벤치마크에서 LinkBERT는 BERT 대비 +4%의 절대 F1 점수 향상을 기록했으며, 일반 도메인에서 GLUE 벤치마크에서도 BERT를 능가하는 성능을 보였다.
• BioASQ 및 PubMedQA 생물의학 질문 응답 작업에서 BioLinkBERT는 이전 최고 기록 대비 +7%의 절대 정확도 향상을 달성했다.
• MedQA-USMLE 전문 의학 벤치마크에서 BioLinkBERT(large)는 340M 파라미터로 50%의 정확도를 기록했으며, 175B 파라미터를 가진 GPT-3(39% 정확도)를 능가했다.
• 소수 샘플 질의 응답에서 HotpotQA 및 TriviaQA에서 LinkBERT는 각각 +5%의 절대 성능 향상을 보였으며, 강력한 다단계 추론 능력을 입증했다.
• DRP 목적함수는 문서 간 브리징 개념(예: 'National Cherry Blossom Festival'이 'Tidal Basin'과 'Japanese cherry trees'를 연결)을 학습하는 데 모델의 능력을 크게 향상시켰다.
• 정성 분석을 통해 BioLinkBERT는 PubmedBERT가 표면적 단어 일치에 의존해 실패하는 다단계 추론 체인(예: 췌장암 → 정맥 혈전 → 압박 초음파 검사)을 정확히 식별하는 것으로 확인되었다.