[논문 리뷰] Bio-YODIE: A Named Entity Linking System for Biomedical Text

Genevieve Gorrell, Xingyi Song외 1명|arXiv (Cornell University)|2018. 11. 12.

Biomedical Text Mining and Ontologies참고 문헌 6인용 수 4

한 줄 요약

Bio-YODIE는 UMLS 개념의 사전 처리된 어휘집과 텍스트 언급을 매칭하는 '푸시' 방식을 사용하는 생물의학명칭링킹 시스템으로, MetaMap보다 더 빠르고 더 견고한 성능을 제공한다. MIMIC-II 테스트 세트에서 59.3%의 F1 스코어를 기록하며 경쟁력 있는 정확도와 더 높은 리콜을 달성했으며, 이는 간단한 어휘집 기반 시스템이 생물의학 NEL 분야에서 복잡한 NER 기반 접근 방식을 능가할 수 있음을 보여준다.

ABSTRACT

Ever-expanding volumes of biomedical text require automated semantic annotation techniques to curate and put to best use. An established field of research seeks to link mentions in text to knowledge bases such as those included in the UMLS (Unified Medical Language System), in order to enable a more sophisticated understanding. This work has yielded good results for tasks such as curating literature, but increasingly, annotation systems are more broadly applied. Medical vocabularies are expanding in size, and with them the extent of term ambiguity. Document collections are increasing in size and complexity, creating a greater need for speed and robustness. Furthermore, as the technologies are turned to new tasks, requirements change; for example greater coverage of expressions may be required in order to annotate patient records, and greater accuracy may be needed for applications that affect patients. This places new demands on the approaches currently in use. In this work, we present a new system, Bio-YODIE, and compare it to two other popular systems in order to give guidance about suitable approaches in different scenarios and how systems might be designed to accommodate future needs.

연구 동기 및 목표

• 임상 및 연구 문헌의 증가하는 양으로 인해 생물의학 텍스트에서 효율적이고 정확한 명칭 엔티티 링킹(NEL)이 점점 더 필요해지고 있음을 고려하여.
• 특히 '풀' 방식(MetaMap)과 '푸시' 방식(MetaMapLite, Bio-YODIE) 간의 차이를 평가하고 비교하여 생물의학 맥락에서의 NEL 접근 방식의 성능을 분석하기 위해.
• 간단한 어휘집 기반 시스템이 정밀도를 희생시키지 않은 채 더 높은 리콜과 경쟁 가능한 F1 스코어를 달성할 수 있는지 조사하기 위해.
• 속도, 커버리지, 정확도와 같은 애플리케이션 기반 요구사항에 따라 시스템 선택에 대한 지침을 제공하기 위해.
• 복잡하고 비공식적인 임상 노트를 포함한 다양한 실제 코퍼스인 MIMIC-II와 같은 실제 환경 코퍼스에서 NEL 시스템을 평가하는 것이 중요함을 강조하기 위해.

제안 방법

• Bio-YODIE는 UMLS 기반 어휘집을 사전 처리하고, 언어적 변형(예: 복수형, 어간 변화 등)을 적용하여 매칭 커버리지를 높이는 '푸시' 방식을 사용한다.
• 텍스트에서 이러한 사전 처리된 용어를 효율적으로 검색하기 위해 문자열 매칭 파이프라인을 활용함으로써, NER 기반 시스템보다 런타임 복잡도를 감소시킨다.
• 속도와 확장성 향상을 위해 통합 및 텍스트 처리를 위해 GATE 자연어 처리 프레임워크를 활용한다.
• 의미적 유형 필터링과 맥락 인식 매칭을 통해 의미 해석을 수행하지만, MetaMap과 마찬가지로 복잡한 문법 분석을 사용하지는 않는다.
• 성능 평가는 복수의 의미적 유형에 걸쳐 UMLS CUI가 수동으로 주석 처리된 환자 기록을 포함하는 MIMIC-II 코퍼스를 사용하여 수행된다.
• 정밀도, 리콜, F1, 정확도, 그리고 상호 평가자 간 일致도를 측정하는 Scott’s Pi를 포함한 메트릭을 사용하여 MetaMap, MetaMapLite, Bio-YODIE 간의 강력한 비교가 가능하다.

실험 결과

연구 질문

• RQ1 임상 텍스트에서 속도, 리콜, F1 측면에서 Bio-YODIE와 같이 어휘집 기반 NEL 시스템의 성능이 MetaMap과 같이 언어학적으로 복잡한 '풀' 시스템과 비교해 어떻게 다를까?
• RQ2 더 단순한 '푸시' 방식이 어휘 변형과 비공식적 언어가 존재하는 상황에서도 MetaMap보다 더 높은 리콜을 달성하면서 정밀도를 유지하거나 향상시킬 수 있을까?
• RQ3 어휘 커버리지 확장 전략(예: 사전 계산된 언어적 변형)이 생물의학 NEL 시스템의 성능에 얼마나 큰 영향을 미칠까?
• RQ4 다른 NEL 시스템은 임상 텍스트에서 의미가 다중으로 해석 가능한 용어(여러 가능한 CUI 매핑이 가능한 용어)를 어떻게 처리할까?
• RQ5 각 언급에 대해 하나의 CUI가 아닌 여러 유효한 CUI가 존재하는 황금 표준 코퍼스를 사용할 경우, 단일 CUI 주석 처리보다 NEL 시스템 평가가 더 향상될까?

주요 결과

• Bio-YODIE는 MIMIC-II 테스트 세트에서 59.3%의 F1 스코어를 기록했으며, 이는 MetaMap(57.1%)를 능가하고 MetaMapLite(59.7%)와 유사한 성능을 보여, 종합적인 성능이 뛰어남을 시사한다.
• Bio-YODIE는 세 시스템 중에서 가장 높은 리콜(60.5%)을 기록하여 임상 텍스트에서 관련 엔티티의 커버리지가 뛰어남을 입증한다.
• MetaMapLite는 가장 높은 정밀도(65.4%)를 기록하여 더 적은 오진을 유발함을 나타내며, Bio-YODIE는 리콜과 정밀도를 효과적으로 균형 잡았다.
• Bio-YODIE는 텍스트 처리에 573초가 소요되었으며, 이는 MetaMap의 3811초보다 현저히 빠른 것으로, '푸시' 방식의 효율성 향상을 확인한다.
• Bio-YODIE의 Scott’s Pi 값은 0.882, MetaMapLite는 0.876로 높은 상호 평가자 간 일치도를 보이며 평가의 신뢰성을 뒷받침한다.
• 결과적으로, Bio-YODIE와 같이 '푸시' 방식을 사용하는 시스템들이 MetaMap처럼 복잡한 '풀' 방식의 시스템보다 속도와 커버리지 측면에서 더 뛰어나며, 특히 실제 임상 텍스트에서 뛰어난 성능을 발휘할 수 있음을 시사한다.