[논문 리뷰] Improving Biomedical Pretrained Language Models with Knowledge

Zheng Yuan, Yijia Liu외 3명|arXiv (Cornell University)|2021. 04. 21.

Topic Modeling참고 문헌 36인용 수 9

한 줄 요약

이 논문은 UMLS 지식 기반에서 개체와 관계를 텍스트 전용 및 텍스트-개체 융합 인코딩을 통해 통합하고, 개체 탐지 및 연결 작업에 대한 동시 사전 훈련을 수행하는 지식 강화 생물의학적 언어 모델 KeBioLM을 제안한다. KeBioLM은 BLURB 벤치마크에서 NER 및 관계 추출 작업에서 최신 기술 수준(SOTA) 성능을 달성하며, UMLS 삼중항에 대한 탐색 작업에서 기존 모델들인 BioBERT, ClinicalBERT, BlueBERT보다 뛰어난 지식 흡수 능력을 보여준다.

ABSTRACT

Pretrained language models have shown success in many natural language processing tasks. Many works explore incorporating knowledge into language models. In the biomedical domain, experts have taken decades of effort on building large-scale knowledge bases. For example, the Unified Medical Language System (UMLS) contains millions of entities with their synonyms and defines hundreds of relations among entities. Leveraging this knowledge can benefit a variety of downstream tasks such as named entity recognition and relation extraction. To this end, we propose KeBioLM, a biomedical pretrained language model that explicitly leverages knowledge from the UMLS knowledge bases. Specifically, we extract entities from PubMed abstracts and link them to UMLS. We then train a knowledge-aware language model that firstly applies a text-only encoding layer to learn entity representation and applies a text-entity fusion encoding to aggregate entity representation. Besides, we add two training objectives as entity detection and entity linking. Experiments on the named entity recognition and relation extraction from the BLURB benchmark demonstrate the effectiveness of our approach. Further analysis on a collected probing dataset shows that our model has better ability to model medical knowledge.

연구 동기 및 목표

• 대규모 생물의학 지식 기반, 예를 들어 UMLS와 같은 구조화된 지식을 명시적으로 통합하여 생물의학 사전 훈련된 언어 모델을 향상시키는 것.
• 일반 도메인 PLMs가 도메인 특화된 의료 사실, 용어 및 관계를 포착하는 데에 한계가 있음을 해결하는 것.
• 개체 탐지 및 개체 연결 작업에 대한 동시 사전 훈련을 통해 강력한 개체 표현을 학습하는 모델을 개발하는 것.
• 지식 강화 모델이 표준 생물의학 PLMs보다 관계 기반 의료 지식을 더 잘 포착하는지 평가하는 것.
• UMLS 관계 삼중항을 기반으로 한 탐색 작업을 통해 PLMs의 생물의학 지식 이해도를 평가할 수 있는 벤치마크를 제공하는 것.

제안 방법

• 모델은 이중 인코딩 아키텍처를 사용한다: 원시 텍스트를 처리하기 위한 텍스트 전용 인코딩 레이어와 토큰 수준 및 개체 수준 표현을 통합하기 위한 텍스트-개체 융합 인코딩 레이어.
• 개체 표현은 UMLS 지식 그래프에서 개체 및 관계 정보를 인코딩하는 TransE 임베딩을 사용하여 초기화된다.
• 모델의 텍스트 내 개체 식별 및 기반 능력을 향상시키기 위해 두 가지 추가 사전 훈련 목표인 개체 탐지 및 개체 연결을 도입한다.
• PubMed 개요에서 개체는 ScispaCy를 사용하여 UMLS에 연결되며, 350만 건의 문서에 걸쳐 총 6억 6,000만 개의 개체가 주석 처리된다.
• 탐색을 위해 모델은 마스크된 UMLS 관계 삼중항을 사용한 클로즈 스타일 작업에서 평가되며, 디코딩은 신뢰도 기반 및 빔 서치 전략을 통해 수행된다.
• 평가에는 마스크된 개체에 대한 정확한 CUI 복구 능력을 측정하기 위해 관계 수준의 매크로-재현율@5를 사용한다.

실험 결과

연구 질문

• RQ1 UMLS로부터의 구조화된 지식 통합이 생물의학적 언어 모델의 명명된 개체 인식 및 관계 추출 작업 성능을 향상시킬 수 있는가?
• RQ2 개체 탐지 및 연결 작업에 대한 동시 사전 훈련은 표준 사전 훈련보다 더 나은 개체 표현 학습을 이끌어낼 수 있는가?
• RQ3 BioBERT, ClinicalBERT, BlueBERT와 같은 기존 생물의학 PLMs와 비교해 KeBioLM는 UMLS의 관계 지식을 얼마나 잘 포착하고 활용할 수 있는가, 특히 희귀하거나 복잡한 관계에 대해서는 어떤가?
• RQ4 KeBioLM은 BioBERT, ClinicalBERT, BlueBERT와 같은 기존 생물의학 PLMs보다 의료 지식을 어떻게 더 잘 모델링하는가?
• RQ5 UMLS 삼중항을 기반으로 한 탐색 작업은 모델의 생물의학 지식 내재화 정도를 효과적으로 측정할 수 있는가?

주요 결과

• KeBioLM은 BLURB 벤치마크의 5개 NER 데이터셋에서 평균 F1 스코어 87.1을 기록하고, 3개 RE 데이터셋에서는 81.2를 기록하여 이전 방법들을 능가한다.
• UMLS 탐색 작업에서 KeBioLM은 관계 수준 매크로-재현율@5로 총 3.26을 기록했으며, 이는 SciBERT(2.75), ClinicalBERT(0.79), BlueBERT(1.02), BioBERT(결측 레이어로 인해 직접 평가 불가)를 크게 앞서는 성능이다.
• 입력에 존재하지 않는 답변을 요구하는 Type 2 쿼리에서는 KeBioLM이 1.48의 recall@5를 기록하여, 새로운 또는 복잡한 관계에 대한 강력한 일반화 능력을 보였다.
• 정성적 분석 결과 KeBioLM은 'liver'가 'hepatic'의 동의어임을 올바르게 식별하고, '접종은 테타노스를 예방할 수 있다'와 같은 관계 사실을 정확히 인지함으로써 정확한 지식 기반 인식 능력을 보였다.
• KeBioLM의 성능은 Type 1 쿼리(24,260건)에서 특히 뛰어나 14.01의 recall@5를 기록하여, 문맥에서 지식 검색의 높은 신뢰성과 정확성을 입증했다.
• 신뢰도 기반 선택과 함께 빔 서치를 사용한 다중 토큰 개체의 디코딩 능력은 복잡한 생물의학적 개체 구간을 다룰 때의 모델의 강건성을 확인시켰다.