[논문 리뷰] Fast and Effective Biomedical Entity Linking Using a Dual Encoder

Rajarshi Bhowmik, Karl Stratos외 1명|arXiv (Cornell University)|2021. 03. 08.

Topic Modeling참고 문헌 19인용 수 13

한 줄 요약

이 논문은 한 번의 전방 계산에서 문서 내 모든 언급을 동시에 처리하는 BERT 기반 듀얼 인코더 모델을 제안하여, 최신 기술 대비 빠른 추론 속도(최대 25배 빠름)와 경쟁 가능한 정확도를 달성한다. 이는 종단간 엔터티 링킹을 가능하게 하며, 언급 범위 탐지와 의미 해소를 동시에 수행하여 SciSpacy 및 MedType와 같은 기존 모델을 초월한다.

ABSTRACT

Biomedical entity linking is the task of identifying mentions of biomedical concepts in text documents and mapping them to canonical entities in a target thesaurus. Recent advancements in entity linking using BERT-based models follow a retrieve and rerank paradigm, where the candidate entities are first selected using a retriever model, and then the retrieved candidates are ranked by a reranker model. While this paradigm produces state-of-the-art results, they are slow both at training and test time as they can process only one mention at a time. To mitigate these issues, we propose a BERT-based dual encoder model that resolves multiple mentions in a document in one shot. We show that our proposed model is multiple times faster than existing BERT-based models while being competitive in accuracy for biomedical entity linking. Additionally, we modify our dual encoder model for end-to-end biomedical entity linking that performs both mention span detection and entity disambiguation and out-performs two recently proposed models.

연구 동기 및 목표

• 기존 BERT 기반 엔터티 링킹 모델이 한 번에 하나의 언급만 처리해 훈련 및 추론 지연이 크다는 문제를 해결하기 위해.
• 모든 언급을 한 번의 전방 계산에서 동시에 해결하는 집합적 엔터티 링킹 접근법을 개발하여 정확도를 유지하면서 속도를 향상시키기 위해.
• 단일 듀얼 인코더 프레임워크 내에서 언급 범위 탐지와 엔터티 의미 해소를 공동으로 학습함으로써 종단간 생물의학적 엔터티 링킹을 가능하게 하기 위해.
• 생물의학적 엔터티 링킹 벤치마크에서 의미 유형 정보를 사용하지 않고도 SciSpacy 및 MedType와 같은 기존 모델을 초월하기 위해.
• 밀도 기반 검색과 듀얼 인코더가 BM25보다 더 높은 리콜을 달성하면서도 빠른 추론 속도를 유지할 수 있음을 입증하기 위해.

제안 방법

• 모델은 언급과 후보 엔터티 표현을 모두 BioBERT를 사용해 인코딩하는 듀얼 인코더 아키텍처를 사용하여 효율적인 유사도 계산을 가능하게 한다.
• 문서 내 모든 언급이 동시에 병렬로 인코딩되며, 각 언급은 지식 기반의 모든 후보 엔터티와 한 번의 전방 계산에서 비교된다.
• 대표성 향상을 위해 하드 및 무작위 음성 샘플링을 사용한 대비 학습 목표로 훈련된다.
• 종단간 링킹을 위해, 언급 범위와 해당 엔터티를 동시에 예측하는 다중 작업 목표로 미세조정된다.
• 추론 시에는 모든 가능한 언급 범위를 생성하기 위해 철저한 범위 검색을 사용하여, BIO 태깅 기반 방법보다 리콜을 향상시킨다.
• 후보 엔터티 별 별도의 검색을 피하기 위해 언급과 모든 엔터티 간의 유사도 점수를 직접 계산함으로써 추론 오버헤드를 감소시킨다.

실험 결과

연구 질문

• RQ1 듀얼 인코더 모델이 문서 내 여러 엔터티 언급을 동시에 처리하여, 각 언급별로 처리하는 모델보다 빠른 추론 속도를 달성할 수 있는가?
• RQ2 단일 전방 계산을 통한 집합적 엔터티 링킹이 기존 최고 수준의 모델과 비교해 정확도를 유지하거나 향상시키는가?
• RQ3 통합된 듀얼 인코더 모델이 종단간 방식으로 언급 범위 탐지와 엔터티 의미 해소를 효과적으로 수행할 수 있는가?
• RQ4 생물의학적 엔터티 링킹 벤치마크에서 제안된 모델의 리콜과 F1 성능은 BM25 및 기타 밀도 기반 검색 기반 모델과 비교해 어떻게 되는가?
• RQ5 다양한 종류의 생물의학적 엔터티를 포함하는 다중 유형 데이터셋에서 TaggerOne과 같은 전용 모델을 초월할 수 있는가?

주요 결과

• 제안된 모델은 최신 기술인 BLINK보다 추론 시간이 최대 25배 빠르다.
• 모든 언급을 배치로 처리함으로써 동일한 파라미터 수를 가진 다른 듀얼 인코더 모델보다 훈련 속도가 3배 빠르다.
• MedMentions 데이터셋에서 개발 세트에서 리콜@10이 87.5, 테스트 세트에서 87.6을 기록하여 BM25 및 밀도 기반 검색 기반 모델을 모두 능가한다.
• BC5CDR 데이터셋에서 엄격한 매칭 프로토콜 하에 종단간 엔터티 링킹에서 F1 스코어가 75.2를 기록하여, SciSpacy(F1=22.3)와 MedType(F1=23.5)를 크게 능가한다.
• BC5CDR 데이터셋에서 철저한 범위 검색 방법은 BIO 태깅 방법(30.3)보다 높은 F1 스코어(75.2)를 기록하여, 더 높은 계산 비용에도 불구하고 효과적임을 입증한다.
• 의미 유형 정보를 사용하지 않아도 MedMentions 데이터셋에서 MedType 및 SciSpacy를 모든 평가 지표에서 능가하는 뛰어난 성능을 달성한다.