[논문 리뷰] Learning Domain-Specialised Representations for Cross-Lingual Biomedical Entity Linking

Fangyu Liu, Ivan Vulić외 2명|arXiv (Cornell University)|2021. 01. 01.

Topic Modeling참고 문헌 22인용 수 5

한 줄 요약

이 논문은 10개의 언어를 아우르는 다국어 생물의학적 엔터티 연결(XL-BEL) 작업과 벤치마크를 제안하며, 영어(UMLS 기반)에서 자원이 적은 언어로 도메인 특화 지식을 전이하기 위해 자가 정렬 사전학습(SAP)의 다국어 확장판을 도입한다. 자원이 적은 언어인 타이어와 같은 언어에서 UMLS 동의어와 일반 도메인 번역 데이터를 조합함으로써, 도메인 내 데이터나 병렬 문장집이 없더라도 Precision@1 점수를 최대 20점 향상시킬 수 있음을 입증한다.

ABSTRACT

Injecting external domain-specific knowledge (e.g., UMLS) into pretrained language models (LMs) advances their capability to handle specialised in-domain tasks such as biomedical entity linking (BEL). However, such abundant expert knowledge is available only for a handful of languages (e.g., English). In this work, by proposing a novel cross-lingual biomedical entity linking task (XL-BEL) and establishing a new XL-BEL benchmark spanning 10 topologically diverse languages, we first investigate the ability of standard knowledge-agnostic as well as knowledge-enhanced monolingual and multilingual LMs beyond the standard monolingual English BEL task. The scores indicate large gaps to English performance. We then address the challenge of transferring domain-specific knowledge in resource-rich languages to resource-poor ones. To this end, we propose and evaluate a series of cross-lingual transfer methods for the XL-BEL task, and demonstrate that general-domain bitext helps propagate the available English knowledge to languages with little to no in-domain data. Remarkably, we show that our proposed domain-specific transfer methods yield consistent gains across all target languages, sometimes up to 20 Precision@1 points, without any in-domain knowledge in the target language, and without any in-domain parallel data.

연구 동기 및 목표

• 비영어 언어에서 영어 대비 생물의학적 엔터티 연결(BEL) 성능 격차를 조사하기 위해.
• 다양한 언어 유형을 포함한 10개 언어를 아우르는 새로운 다국어 BEL 벤치마크를 구축하여 다국어 생물의학적 표현 학습 평가를 위한 기반을 마련하기 위해.
• 자원이 풍부한(예: 영어) 언어에서 자원이 적은 언어로 도메인 특화 지식을 전이하는 다국어 전이 방법을 개발하고 평가하기 위해.
• 일반 도메인 번역 데이터가 자원이 적은 언어에서 생물의학 지식의 제로샷 다국어 전이를 크게 향상시킬 수 있는지 입증하기 위해.
• 도메인 내 데이터나 목표 언어에서의 병렬 단일 언어 데이터가 필요 없이도 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 영어 외의 비영어 언어를 포함한 여러 언어에서 UMLS 동의어 집합을 사용하여 다국어 모델을 미세조정하는 자가 정렬 사전학습(SAP)의 다국어 확장판을 제안한다.
• 동일한 CUI를 공유하는 동의어 간 유사한 표현을 유도하기 위해 삼중체 마이닝(기준, 양성, 음성) 기반의 훈련 방식을 도입한다.
• UMLS 동의어와 bitext에서 확보한 일반 도메인 단어 및 어구 번역을 결합하여 가중치 조합 전략을 활용해 SAP 프레임워크를 강화한다.
• 대등한 표현 간 유사도를 유지하면서도 의미적 정체성을 보존하기 위해 대비 손실을 활용한 메트릭 학습을 적용한다.
• XLM-RoBERTa와 mBERT의 기본형 및 대형 버전을 평가하며, UMLS 동의어 데이터와 번역 데이터를 이중 훈련 설정으로 사용해 미세조정한다.
• 모델이 언급어와 후보 엔터티를 인코딩하고 유사도 점수를 계산하여 올바른 CUI를 예측하는 듀얼 브랜치 아키텍처를 적용한다.

실험 결과

연구 질문

• RQ1 mBERT나 XLM-R와 같은 표준 다국어 언어 모델이 도메인 내 미세조정 없이도 다국어 생물의학적 엔터티 연결에서 뛰어난 성능을 내는가?
• RQ2 영어(UMLS 기반)에서의 도메인 특화 지식이 다국어 생물의학 NLP에서 자원이 적은 언어로 얼마나 효과적으로 전이될 수 있는가?
• RQ3 일반 도메인 번역 데이터를 통합하면 자원이 적은 언어에서 생물의학 엔터티 표현의 다국어 정렬이 향상되는가?
• RQ4 UMLS 동의어 집합의 다양한 조합(예: 영어 전용 vs. 다국어)이 다국어 전이 성능에 어떤 영향을 미치는가?
• RQ5 XLM-RoBERTa LARGE와 같은 대규모 다국어 모델이 지식 주입을 통해 자원이 적은 환경에서 더 뛰어난 성능을 내는가?

주요 결과

• 모든 UMLS 동의어 미세조정(SAPall syn)을 적용한 XLM-RoBERTa가 영어에서는 56.4%의 Precision@1, 10개 언어 평균으로 35.1%를 기록하며, 순수 mBERT나 XLM-R보다 유의미하게 뛰어난 성능을 보였다.
• UMLS에 포함되지 않은 타이어어(Tai, TH)의 경우, 일반 도메인 번역 데이터를 활용한 SAPall syn를 적용해 30.9%의 Precision@1을 달성했으며, 기준 모델 대비 19.4%포인트 향상되었다.
• 일반 도메인 번역 데이터 추가로 일부 언어에서 최대 12.7%의 성능 향상을 기록했으며, 러시아어, 터키어, 한국어, 타이어어에서는 10%포인트 이상의 향상이 관찰되었다.
• 모든 가용 동의어 데이터를 사용한 모델(SAPall syn)이 영어 또는 언어별 동의어만 사용한 변형보다 일관되게 뛰어난 성능을 보였으며, 더 넓은 동의어 커버리지가 전이 성능 향상에 기여함을 시사한다.
• SAP 미세조정를 적용한 XLM-RoBERTa LARGE는 영어에서 78.3%의 Precision@1, 10개 언어 평균으로 39.0%를 기록했으며, 대형 모델이 자원이 적은 환경에서 지식 주입을 통해 더 큰 이점을 얻을 수 있음을 보여주었다.
• 제안된 방법은 도메인 내 훈련 데이터나 목표 언어에서의 병렬 단일 언어 데이터가 필요 없이도 XL-BEL에서 최신 기술 수준의 성능을 달성했다.