[논문 리뷰] BERT-based Ranking for Biomedical Entity Normalization

Zongcheng Ji, Qiang Wei외 1명|arXiv (Cornell University)|2019. 08. 09.

Biomedical Text Mining and Ontologies참고 문헌 32인용 수 93

한 줄 요약

이 논문은 사전 학습된 BERT, BioBERT, ClinicalBERT 모델을 생물의학 엔티티 표준화에 미세조정하고, 세 가지 데이터셋에서 최첨단 정확도 향상을 보여주며, 이전 방법보다 최대 1.17% 더 높은 정확도를 달성한다.

ABSTRACT

Developing high-performance entity normalization algorithms that can alleviate the term variation problem is of great interest to the biomedical community. Although deep learning-based methods have been successfully applied to biomedical entity normalization, they often depend on traditional context-independent word embeddings. Bidirectional Encoder Representations from Transformers (BERT), BERT for Biomedical Text Mining (BioBERT) and BERT for Clinical Text Mining (ClinicalBERT) were recently introduced to pre-train contextualized word representation models using bidirectional Transformers, advancing the state-of-the-art for many natural language processing tasks. In this study, we proposed an entity normalization architecture by fine-tuning the pre-trained BERT / BioBERT / ClinicalBERT models and conducted extensive experiments to evaluate the effectiveness of the pre-trained models for biomedical entity normalization using three different types of datasets. Our experimental results show that the best fine-tuned models consistently outperformed previous methods and advanced the state-of-the-art for biomedical entity normalization, with up to 1.17% increase in accuracy.

연구 동기 및 목표

• 생물의학 엔티티 표준화에서 용어 변이 다루기.
• 표준화 태스크를 위한 사전 학습된 문맥화 표현의 효과성 탐구.
• 성능 향상을 확립하기 위해 여러 생물의학 데이터셋에서 BERT 변형의 성능 평가.

제안 방법

• 생물의학 엔티티 표준화 작업에서 사전 학습된 BERT, BioBERT, 및 ClinicalBERT 모델을 미세조정합니다.
• 이전의 표준화 방법과 비교하여 성능 향상을 평가합니다.
• 다양한 데이터셋 형식의 세 가지에서 일반화 성능을 평가하기 위한 광범위한 실험을 수행합니다.

실험 결과

연구 질문

• RQ1 미세조정된 BERT 기반 모델이 다양한 데이터셋에서 기존의 생물의학 엔티티 표준화 방법을 능가할 수 있는가?
• RQ2 가장 좋은 표준화 성능을 낼 수 있는 사전 학습된 BERT 변형(BERT, BioBERT, ClinicalBERT)은 어느 것인가?
• RQ3 데이터셋 전반에 걸쳐 전통적 접근 방식에 비해 미세조정으로 달성된 정확도 향상의 규모는 어느 정도인가?

주요 결과

• 미세조정된 BERT, BioBERT, ClinicalBERT 모델은 일관되게 이전 방법을 능가한다.
• 최고의 미세조정 모델은 생물의학 엔티티 표준화 작업에서 최첨단 정확도를 달성한다.
• 보고된 향상은 데이터셋 전반에 걸쳐 이전 방법 대비 정확도가 최대 1.17% 증가한 것을 포함한다.