[논문 리뷰] MedType: Improving Medical Entity Linking with Semantic Type Prediction.

Shikhar Vashishth, Rishabh Joshi외 3명|arXiv (Cornell University)|2020. 05. 01.

Topic Modeling참고 문헌 77인용 수 14

한 줄 요약

MedType는 의미 유형 예측을 통해 관련성이 없는 후보를 걸러내어 과다 생성을 크게 줄임으로써 의료 엔티티 링킹 성능을 향상시킨다. WikiMed 및 PubMedDS와 같은 대규모 데이터셋에서 사전학습하고 다섯 가지 툴킷에 통합된 MedType은 벤치마크 전반에서 일관되게 성능을 향상시키며, 공개된 코드와 데이터를 통해 최신 기술 수준의 성능 향상을 입증한다.

ABSTRACT

Medical entity linking is the task of identifying and standardizing medical concepts referred to in an unstructured text. Most of the existing methods adopt a three-step approach of (1) detecting mentions, (2) generating a list of candidate concepts, and finally (3) picking the best concept among them. In this paper, we probe into alleviating the problem of overgeneration of candidate concepts in the candidate generation module, the most under-studied component of medical entity linking. For this, we present MedType, a fully modular system that prunes out irrelevant candidate concepts based on the predicted semantic type of an entity mention. We incorporate MedType into five off-the-shelf toolkits for medical entity linking and demonstrate that it consistently improves entity linking performance across several benchmark datasets. To address the dearth of annotated training data for medical entity linking, we present WikiMed and PubMedDS, two large-scale medical entity linking datasets, and demonstrate that pre-training MedType on these datasets further improves entity linking performance. We make our source code and datasets publicly available for medical entity linking research.

연구 동기 및 목표

• 의료 엔티티 링킹의 후보 생성 단계에서 발생하는 과다 후보 문제에 대한 연구가 부족한 점을 해결한다.
• 예측된 의미 유형을 활용해 관련성이 없는 후보 개념을 걸러내는 모듈러 시스템을 개발한다.
• MedType과의 통합을 통해 기존 의료 엔티티 링킹 툴킷의 정확도와 효율성을 향상시킨다.
• 제한된 애너테이션된 학습 데이터 문제를 완화하기 위해 WikiMed 및 PubMedDS라는 두 가지 대규모 의료 엔티티 링킹 데이터셋을 도입한다.
• 이러한 신규 데이터셋에서 MedType을 사전학습하면 다양한 벤치마크에서 링킹 성능이 더욱 향상됨을 입증한다.

제안 방법

• 엔티티 언급을 입력으로 받아 의미 유형(예: 질병, 약물, 절차 등)을 신경망 분류기를 사용해 예측하는 완전히 모듈러한 시스템을 설계한다.
• 후보 생성 단계에서 예측된 의미 유형을 사용해 의미적으로 일치하지 않는 후보 개념을 제거한다.
• 다섯 가지 표준 의료 엔티티 링킹 툴킷에 MedType을 플러그인 형태로 통합하여 일반화 및 호환성 평가를 수행한다.
• 위키피디아와 푸블리메드에서 유래한 대규모 데이터셋인 WikiMed 및 PubMedDS에서 의미 유형 분류기를 사전학습한다.
• 하류 작업인 엔티티 링킹 태스크에서 사전학습된 유형 분류기를 미세조정하여 성능 향상을 도모한다.
• 표준 의료 엔티티 링킹 벤치마크에서 엔드 투 엔드 평가를 수행하여 F1 및 정밀도-재현율 지표 향상을 측정한다.

실험 결과

연구 질문

• RQ1 의미 유형 예측이 정확도를 저하시키지 않으면서도 의료 엔티티 링킹에서 후보 과다 생성을 효과적으로 줄일 수 있는가?
• RQ2 기존 의료 엔티티 링킹 툴킷에 통합되었을 때 MedType이 얼마나 많은 성능 향상을 제공하는가?
• RQ3 WikiMed 및 PubMedDS와 같은 대규모 약한 지도 학습 데이터셋에서 사전학습하면 MedType의 일반화 능력과 링킹 정확도가 얼마나 향상되는가?
• RQ4 MedType의 모듈러 설계는 다양한 의료 텍스트 도메인과 엔티티 링킹 시스템 전반에서 일관된 성능 향상을 가능하게 하는가?
• RQ5 대규모 코퍼스에서 자기지도 학습을 통해 사전학습한 MedType이 의료 엔티티 링킹에서 제한된 애너테이션 학습 데이터의 영향을 완화할 수 있는가?

주요 결과

• MedType은 다양한 표준 툴킷과 여러 벤치마크 데이터셋에서 일관되게 엔티티 링킹 성능을 향상시킨다.
• MedType 통합으로 의미적으로 일치하지 않는 개념을 걸러내어 후보 과다 생성이 감소하고 링킹 결과의 정밀도가 향상된다.
• WikiMed 및 PubMedDS에서 의미 유형 분류기를 사전학습하면 하류 엔티티 링킹 작업에서 성능 향상이 크게 향상된다.
• 제안된 데이터셋인 WikiMed 및 PubMedDS는 대규모 고품질 학습 데이터를 제공하여 효과적인 사전학습과 전이학습을 지원한다.
• 표준 의료 엔티티 링킹 벤치마크에서 평가했을 때 MedType은 F1 및 정밀도 지표에서 최신 기술 수준의 성능 향상을 달성한다.
• MedType의 모듈러 설계 덕분에 기존 파ip라인에 원활하게 통합되며 다양한 의료 NLP 시스템 전반에서 뛰어난 일반화 능력을 입증한다.