[논문 리뷰] LATTE: Latent Type Modeling for Biomedical Entity Linking

Ming Zhu, Busra Celikkaya외 2명|arXiv (Cornell University)|2019. 11. 21.

Topic Modeling참고 문헌 26인용 수 4

한 줄 요약

LATTE는 교차 어텐션과 군집 유형에서의 보조 지도 학습을 통해 언급과 실체의 잠재적인 미세 유형을 공동으로 학습함으로써 의미적 유형 정보를 모델링함으로써 다의어 제거를 향상시키는 새로운 신경 모델을 제안한다. 이는 MedMentions와 3DNotes에서 최고 성능을 기록하며, 명시적인 유형 애너테이션 없이도 암묵적인 의미 유형을 모델링함으로써 MedMentions에서 강력한 기준 모델 대비 P@1이 5.8%p 향상된다.

ABSTRACT

Entity linking is the task of linking mentions of named entities in natural language text, to entities in a curated knowledge-base. This is of significant importance in the biomedical domain, where it could be used to semantically annotate a large volume of clinical records and biomedical literature, to standardized concepts described in an ontology such as Unified Medical Language System (UMLS). We observe that with precise type information, entity disambiguation becomes a straightforward task. However, fine-grained type information is usually not available in biomedical domain. Thus, we propose LATTE, a LATent Type Entity Linking model, that improves entity linking by modeling the latent fine-grained type information about mentions and entities. Unlike previous methods that perform entity linking directly between the mentions and the entities, LATTE jointly does entity disambiguation, and latent fine-grained type learning, without direct supervision. We evaluate our model on two biomedical datasets: MedMentions, a large scale public dataset annotated with UMLS concepts, and a de-identified corpus of dictated doctor's notes that has been annotated with ICD concepts. Extensive experimental evaluation shows our model achieves significant performance improvements over several state-of-the-art techniques.

연구 동기 및 목표

• 유사한 발음의 용어와 미세 유형 정보 부족으로 인한 다의어 생물의학 실체 연결 문제를 해결하기 위해.
• 표면 수준의 특징만으로는 충분하지 않은 임상 및 생물의학 텍스트에서 실체 다의어 제거를 향상시키기 위해.
• 직접적인 지도 학습 없이도 언급과 실체의 잠재적인 미세 유형을 공동으로 학습하기 위해, 군집 유형 지도 학습을 보조적 지시로 활용하기 위해.
• 생물의학 NLP에서의 OOV 및 약어 문제를 해결하기 위해 문자 수준 인코딩과 유형 기반 매칭을 활용하기 위해.
• 계층적 유형 모델링과 어텐션 기반 유사도 스코어링을 통해 실체 연결 성능을 향상시키는 통합 프레임워크를 개발하기 위해.

제안 방법

• LATTE는 언급과 후보 표현을 위한 공유 파라미터를 가진 이중 인코더 아키텍처를 사용하며, 단어 및 문자 임베딩을 통합한다.
• 교차 어텐션 기반 메커니즘을 사용하여 언급과 실체의 암묵적이고 미세한 유형을 학습하는 잠재 유형 인코더를 도입한다.
• 실체 연결을 안내하기 위해 언급과 후보의 잠재 유형 분포 간의 유사도 측도를 사용한다.
• 군집 유형 지도 학습을 위해 UMLS 또는 ICD의 군집 유형을 기반으로 알려진 유형 분류기를 별도로 훈련시켜 잠재 유형 학습에 지도를 제공한다.
• 교차 어텐션 메커니즘이 언급과 후보 실체 간의 맥락 인식 유사도를 계산하여 더 나은 의미적 매칭을 가능하게 한다.
• 최종 실체 스코어는 언급과 후보 표현의 내적 곱에 대해 피드포워드 네트워크를 적용하고, 유형 인식 어텐션을 통합하여 계산된다.

실험 결과

연구 질문

• RQ1 명시적인 유형 애너테이션이 없을 때 잠재적인 미세 유형을 모델링하는 것이 생물의학 실체 연결 성능 향상에 기여하는가?
• RQ2 교차 어텐션은 생물의학 분야에서 언급과 후보 실체 간의 의미적 유사도를 얼마나 잘 포착하는가?
• RQ3 군집 유형 지도 학습을 보조 지도로 활용할 경우, 잠재 유형 학습과 실체 연결 정확도 향상에 얼마나 기여하는가?
• RQ4 잠재 유형 모델링은 생물의학 텍스트에서 OOV 단어와 약어 문제를 어느 정도 해결할 수 있는가?
• RQ5 잠재 유형 + 알려진 유형의 계층적 유형 모델링 방식은 표면 수준의 특징 또는 알려진 유형만을 사용하는 모델 대비 어떤가?

주요 결과

• LATTE는 MedMentions에서 P@1이 88.46, 3DNotes에서 87.98을 기록하여 모든 기준 모델과 최고 성능을 기록한다.
• 잠재 유형 모델링을 추가한 LATTE_base+LT는 기준 모델 대비 MedMentions에서 P@1이 6.07%p 향상되었고, 3DNotes에서는 2.32%p 향상되었다.
• 알려진 유형 지도 학습을 통합한 LATTE_base+KT는 MedMentions에서 P@1이 7.71%p 향상되었고, 3DNotes에서는 3.72%p 향상되어 강력한 정성적 영향을 보였다.
• 잠재 유형과 알려진 유형 지도 학습을 모두 통합한 전체 LATTE 모델은 가장 높은 성능을 기록하였으며, 가장 강력한 기준 모델 대비 MedMentions에서 P@1이 5.8%p 절대적 향상되었다.
• 정성적 분석을 통해 LATTE는 유형 정보와 문자 수준 인코딩을 활용하여 OOV 단어와 약어를 효과적으로 처리함을 확인하였다.
• 교차 어텐션 메커니즘이 동일한 군집 유형을 공유하지만 잠재 의미 유형이 다른 후보들 사이에서도 정확한 다의어 제거를 가능하게 하였다.