[논문 리뷰] Biomedical Entity Linking with Contrastive Context Matching

Shogo Ujiie, Hayate Iso외 1명|arXiv (Cornell University)|2021. 06. 14.

Biomedical Text Mining and Ontologies참고 문헌 23인용 수 4

한 줄 요약

BioCoM는 소규모 사전과 원시 PubMed 기사만을 사용하여 문맥 인식 모델을 훈련하는 대조학습 프레임워크이다. 사전 매칭 문장에서 훈련 인스턴스를 구성하고 문맥 표현에서 대조학습을 활용함으로써, BioCoM는 특히 자원이 제한된 환경에서 최신 기술 수준의 성능을 달성하며, 세 가지 벤치마크 데이터셋에서 이전 방법들을 상당한 격차로 앞서며 뛰어난 성능을 보였다.

ABSTRACT

We introduce BioCoM, a contrastive learning framework for biomedical entity linking that uses only two resources: a small-sized dictionary and a large number of raw biomedical articles. Specifically, we build the training instances from raw PubMed articles by dictionary matching and use them to train a context-aware entity linking model with contrastive learning. We predict the normalized biomedical entity at inference time through a nearest-neighbor search. Results found that BioCoM substantially outperforms state-of-the-art models, especially in low-resource settings, by effectively using the context of the entities.

연구 동기 및 목표

• 수동으로 주석이 달린 데이터가 없을 때에도 효과적으로 작동할 수 있는 생물의학적 엔티티 정규화 방법을 개발하는 것.
• 소규모 사전의 동의어 커버리지가 제한되어 있어도 생물의학 지식 그래프의 통합 개념으로 질병 언급어를 연결하는 데 도전하는 것.
• 직접적인 동의어 매칭이 없을 때라도 주변 텍스트의 문맥적 단서를 활용하여 엔티티 연결 성능을 향상시키는 것.
• 대규모 주석이 달린 데이터셋이나 광범위한 지식 그래프에 의존하지 않도록 하여 실생활 의료 NLP 응용에 실용적인 방법을 제공하는 것.
• 원시 텍스트에서 학습된 문맥 인식 표현이 자원이 제한된 상황에서 엔티티 연결 정확도를 크게 향상시킬 수 있음을 입증하는 것.

제안 방법

• 원시 PubMed 기사의 엔티티 언급어를 소규모 생물의학 사전에 매칭하여 엔티티 연결 문장을 포함한 코퍼스를 구성함으로써 훈련 인스턴스를 생성하는 것.
• 문맥 표현을 사용하여 올바른 엔티티-개념 쌍과 부정적 쌍을 구분할 수 있도록 문맥 인식 모델을 대조학습으로 훈련하는 것.
• PubMedBERT를 사용하여 엔티티 언급어와 그 주변 문장을 인코딩하고, [ENT] 토큰 임베딩에서 문맥 표현을 추출하는 것.
• 추론 단계에서 학습된 문맥 표현을 기반으로 임베딩 공간에서 최근접 이웃 검색을 통해 입력 엔티티를 정규화하는 것.
• 문장 내 엔티티 언급어를 식별하기 위해 가장 긴 매칭 알고리즘을 활용하여 입력 언급어와 사전 항목 간의 일치를 보장하는 것.
• 개발 세트 성능을 최적화하기 위해 하이퍼파라미터(예: 최근접 이웃 수 k=15)를 조정하는 것.

실험 결과

연구 질문

• RQ1 소규모 사전과 원시 PubMed 기사만을 사용하고 수동 주석 데이터가 전혀 없는 조건에서 생물의학적 엔티티 연결 모델이 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ2 사전에 동의어가 없는 경우, 주변 문장의 문맥 정보를 포함함으로써 엔티티 연결 정확도가 얼마나 향상되는가?
• RQ3 자동으로 생성된 사전 매칭 문장에 대해 대조학습을 적용하면 기존의 자기지도 학습 또는 지도 학습 기반 베이스라인 대비 더 나은 문맥 표현을 얻을 수 있는가?
• RQ4 사전의 동의어 수가 감소함에 따라 모델 성능이 어떻게 저하되거나 안정성을 유지하는가? (자원이 제한된 상황을 시뮬레이션함)
• RQ5 임베딩 공간에서의 최근접 이웃 검색을 통한 문맥 매칭이, 단순히 동의어 매칭이나 고정 임베딩에 의존하는 모델보다 얼마나 뛰어나게 성능을 발휘하는가?

주요 결과

• BioCoM는 NCBID에서 60.3%의 정확도, BC5CDR-d에서 69.0%, MedMentions-d에서 71.4%의 정확도를 기록하여, SapBert와 PubMedBERT를 포함한 모든 베이스라인을 상당한 격차로 앞서며 뛰어난 성능을 보였다.
• MedMentions-d에서 BioCoM는 71.4%의 정확도를 기록하여 SapBert(65.1%)보다 6.3점 향상되었고, PubMedBERT(45.2%)보다는 26.2점 높은 성능을 보였다.
• 사전 크기를 39,959개로 줄였을 때도 BioCoM는 강력한 성능을 유지하여, 다른 모델 대비 자원이 제한된 환경에서 뛰어난 내구성을 입증하였다.
• 정성적 분석 결과, BioCoM는 문장 내 '유전적 전위' 같은 문맥적 단서를 활용하여 'B-ALL'을 'B-계절성 림프성 백혈병'으로 정확히 연결한 반면, SapBert는 문맥 인식 능력 부족으로 실패하였다.
• 한 예측 오류는 가장 긴 매칭 알고리즘의 오류로 인해 발생했으며, 'non-small-cell lung carcinoma'가 'renal cell carcinomas' 대신 잘못 매칭된 것으로 확인되어 언급어 인식의 한계를 드러냈다.
• 결과적으로 원시 텍스트에서 대조학습을 통해 학습된 문맥 인식 표현이 대규모 주석 데이터나 광범위한 지식 그래프 없이도 생물의학적 엔티티 연결에 매우 효과적임을 확인하였다.