[논문 리뷰] CODER: Knowledge infused cross-lingual medical term embedding for term normalization

Zheng Yuan, Zhengyun Zhao외 4명|arXiv (Cornell University)|2020. 11. 05.

Biomedical Text Mining and Ontologies인용 수 5

한 줄 요약

CODER는 의료 지식 그래프를 기반으로 한 대비 학습 프레임워크를 제안하여 다국어 의료 용어 임베딩을 생성함으로써 용어 정규화를 위한 것을 목적으로 한다. 유니티드 메디컬 어휘 체계(UMLS)의 관계와 삼중항을 활용하여 의미적으로 풍부하고 정렬된 표현을 학습함으로써, 제로샷 용어 정규화, 의미 유사도, 관계 분류 작업에서 최신 기술을 초월하는 성능을 달성한다.

ABSTRACT

This paper proposes CODER: contrastive learning on knowledge graphs for cross-lingual medical term representation. CODER is designed for medical term normalization by providing close vector representations for different terms that represent the same or similar medical concepts with cross-lingual support. We train CODER via contrastive learning on a medical knowledge graph (KG) named the Unified Medical Language System, where similarities are calculated utilizing both terms and relation triplets from KG. Training with relations injects medical knowledge into embeddings and aims to provide potentially better machine learning features. We evaluate CODER in zero-shot term normalization, semantic similarity, and relation classification benchmarks, which show that CODERoutperforms various state-of-the-art biomedical word embedding, concept embeddings, and contextual embeddings. Our codes and models are available at https://github.com/GanjinZero/CODER.

연구 동기 및 목표

• 저자원 환경에서의 다국어 의료 용어 정규화 문제를 해결하기 위해.
• 의료 지식 그래프에서의 구조화된 지식을 통합하여 의료 용어의 의미 표현을 향상시키기 위해.
• 공유된 벡터 공간을 활용하여 다국어 간 의료 용어 정규화에 대한 제로샷 전이 학습을 가능하게 하기 위해.
• UMLS의 관계 정보를 통합하여 생물의학어 임베딩의 품질을 향상시키기 위해.

제안 방법

• CODER는 다양한 언어 간 의미적으로 관련된 의료 용어 간 유사도를 극대화함으로써 임베딩을 최적화하기 위해 대비 학습을 활용한다.
• 유니티드 메디컬 어휘 체계(UMLS) 지식 그래프의 용어와 관계 삼중항을 사용하여 양성 쌍(positive pairs)을 구성한다.
• 양성 쌍 간의 대비 손실을 최소화하고 음성 쌍 간의 대비 손실을 극대화함으로써 공동 표현을 학습한다.
• 임베딩 공간의 의미 특징을 풍부하게 하기 위해 용어 수준 및 관계 수준의 신호를 모두 통합한다.
• 다양한 의료 개념 간 일반화를 향상시키기 위해 다문장 및 다단계 관계 패턴을 활용한 학습 과정을 설계한다.
• 최종 임베딩은 용어 정규화, 유사도, 관계 분류 벤치마크에서 제로샷 전이 평가를 통해 평가된다.

실험 결과

연구 질문

• RQ1 의료 지식 그래프에서의 대비 학습이 정규화를 위한 다국어 의료 용어 표현 향상에 기여하는가?
• RQ2 UMLS에서의 관계 지식 통합이 생물의학어 임베딩의 품질에 어떤 영향을 미치는가?
• RQ3 제안된 모델은 미세조정 없이 얼마나 효과적으로 다국어 간 제로샷 용어 정규화를 수행할 수 있는가?
• RQ4 용어 및 관계 신호의 통합이 의미 유사도 및 관계 분류 성능 향상에 기여하는가?
• RQ5 하류 작업에서 최신 기술 기반 생물의학 및 컨텍스트 임베딩과 비교해 CODER는 어떤 성능을 보이는가?

주요 결과

• CODER는 다양한 언어에서 제로샷 의료 용어 정규화 작업에서 최신 기술을 초월하는 성능을 달성하며, 기존의 생물의학어 임베딩 및 컨텍스트 모델보다 뛰어난 성능을 보였다.
• 의미 유사도 작업에서의 성능 향상은 임베딩 공간 내 의미적으로 관련된 의료 용어 간 정렬이 향상되었음을 시사한다.
• 관계 분류 작업에서 CODER는 기준 모델보다 높은 F1 스코어를 기록하여 관계 추론 능력이 향상되었음을 확인했다.
• UMLS 관계 삼중항의 통합은 특히 저자원 다국어 환경에서 임베딩 품질 향상에 크게 기여하였다.
• CODER의 대비 학습 목표는 다양한 언어 간 의미적 및 문법적 변형을 효과적으로 포착하여 강력한 제로샷 전이를 가능하게 하였다.
• 모델의 성능은 평가된 모든 벤치마크에서 일관되게 뛰어나졌으며, 대비 학습을 통한 지식 통합의 효과성을 입증하였다.