[논문 리뷰] MedMentions: A Large Biomedical Corpus Annotated with UMLS Concepts

Sunil Mohan, Donghui Li|arXiv (Cornell University)|2019. 02. 25.

Biomedical Text Mining and Ontologies참고 문헌 14인용 수 47

한 줄 요약

MedMentions는 UMLS 개념에 언급을 연결하는 대규모 수동 주석 biomedical 말뭉치를 제시하며, ST21pv 하위 코퍼스와 엔드-투-엔드 엔티티 인식/연결 모델의 기준선을 포함합니다.

ABSTRACT

This paper presents the formal release of MedMentions, a new manually annotated resource for the recognition of biomedical concepts. What distinguishes MedMentions from other annotated biomedical corpora is its size (over 4,000 abstracts and over 350,000 linked mentions), as well as the size of the concept ontology (over 3 million concepts from UMLS 2017) and its broad coverage of biomedical disciplines. In addition to the full corpus, a sub-corpus of MedMentions is also presented, comprising annotations for a subset of UMLS 2017 targeted towards document retrieval. To encourage research in Biomedical Named Entity Recognition and Linking, data splits for training and testing are included in the release, and a baseline model and its metrics for entity linking are also described.

연구 동기 및 목표

• UMLS를 대상 온톨지로 사용하여 넓은 범위를 다루는 방대한 고도로 주석된 biomedical 말뭉치를 제공한다.
• 광대한 온톨로지 크기 때문에 제로샷 시나리오를 포함한 엔드투엔드 biomedical 개념 인식 및 연결 개발을 가능하게 한다.
• 문서 검색 및 색인 작업에 맞춘 ST21pv 하위 코퍼스를 제공한다.
• 향후 개념 인식 모델의 벤치마크를 위한 훈련/검증/테스트 분할 및 기준선 메트릭을 제시한다.

제안 방법

• 2016–2017년 PubMed 초록 중 무작위로 5,000개를 선택하고 주석 대상 English biomedical 초록 4,392개를 확정한다.
• 모든 biomedical 언급을 2017 AA 릴리스 및 GATE 도구를 사용하여 가장 구체적인 UMLS 개념으로 주석하고 겹침 없는 언급을 보장한다.
• ST21pv를 문서 검색을 타깃으로 한 UMLS의 선별된 21개의 의미 유형 하위집합으로 도입한다.
• 코퍼스 통계 및 60/20/20의 훈련/검증/테스트 분할과 개념 중첩 분석을 제공한다.
• ST21pv 데이터에서 엔드투엔드 개념 인식 및 연결의 기준 모델(TaggerOne)을 학습하고 언급 수준 및 문서 수준 메트릭을 보고한다.

실험 결과

연구 질문

• RQ1 MedMentions와 ST21pv 하위 세트가 UMLS 개념으로 매핑될 때의 규모와 범위는 어느 정도인가?
• RQ2 기본 엔드투엔드 개념 인식 및 연결 모델이 MedMentions에서 언급 수준 및 문서 수준에서 어떤 성능을 보이는가?
• RQ3 학습, 개발, 테스트 분할 간 개념 중첩은 어느 정도이며 테스트에서 보지 못한 라벨은 몇 개인가?
• RQ4 크기, 온톨로지 범위 및 주석의 정밀도 측면에서 MedMentions가 다른 대형 biomedical 말뭉치와 어떻게 비교되는가?

주요 결과

• MedMentions에는 4,392개의 초록이 있으며 총 352,496개의 언급이 34,724개의 고유한 개념으로 연결되어 있다.
• ST21pv 하위 코퍼스는 선별 후 2,327,250개의 개념과 203,282개의 언급을 포함한다.
• ST21pv 테스트 세트는 60%–20%–20% 분할을 가지며 테스트 개념의 42%가 학습에서 보지 못했고 38%는 학습 및 개발에서도 보지 않았다.
• 기준선 TaggerOne 모델은 MM-ST21pv 테스트 데이터에서 언급 수준에서 0.471의 정확도, 0.436의 재현율, 0.453의 F1을 달성하고, 문서 수준에서 0.536의 정확도, 0.561의 재현율, 0.548의 F1을 달성하였다.