[논문 리뷰] Snomed2Vec: Random Walk and Poincar\\'e Embeddings of a Clinical Knowledge Base for Healthcare Analytics

Khushbu Agarwal, Tome Eftimov외 4명|arXiv (Cornell University)|2019. 07. 19.

Machine Learning in Healthcare인용 수 7

한 줄 요약

이 논문은 SNOMED-CT에서 랜덤 워크와 파oincaré 임베딩을 활용한 그래프 기반 표현 학습 프레임워크인 Snomed2Vec을 제안한다. 파oincaré 임베딩이 Med2Vec 및 CUI2Vec과 같은 최신 기법들보다 뛰어나게 성능을 발휘하며, 개념 유사도 측면에서 5–6배 향상되고, 환자 진단 예측에서 6–20% 향상된 성과를 보였다.

ABSTRACT

Representation learning methods that transform encoded data (e.g., diagnosis and drug codes) into continuous vector spaces (i.e., vector embeddings) are critical for the application of deep learning in healthcare. Initial work in this area explored the use of variants of the word2vec algorithm to learn embeddings for medical concepts from electronic health records or medical claims datasets. We propose learning embeddings for medical concepts by using graph-based representation learning methods on SNOMED-CT, a widely popular knowledge graph in the healthcare domain with numerous operational and research applications. Current work presents an empirical analysis of various embedding methods, including the evaluation of their performance on multiple tasks of biomedical relevance (node classification, link prediction, and patient state prediction). Our results show that concept embeddings derived from the SNOMED-CT knowledge graph significantly outperform state-of-the-art embeddings, showing 5-6x improvement in ``concept similarity" and 6-20\\% improvement in patient diagnosis.

연구 동기 및 목표

• SNOMED-CT라는 대규모 임상 지식 그래프에서 의료 개념 임베딩을 학습하기 위한 재현 가능하고 오픈소스 프레임워크를 개발한다.
• 노드2vec, 메타패스2vec, 그리고 파oincaré 임베딩과 같은 그래프 기반 임베딩 방법의 임상적으로 관련된 하류 작업에서의 성능을 평가한다.
• 지식 그래프 기반 임베딩이 Med2Vec 및 CUI2Vec과 같은 기존의 EHR 기반 방법보다 정확도와 계층적 추론 능력에서 뛰어나다는 것을 입증한다.
• 공개 재사용을 가능하게 하기 위해 사전 학습된 임베딩과 코드를 제공함으로써 재현 가능성과 헬스케어 분석 분야에서의 광범위한 도입을 지원한다.

제안 방법

• 로컬 및 글로벌 그래프 구조를 유지하면서 SNOMED-CT 개념의 저차원 벡터 표현을 학습하기 위해 랜덤 워크 기반 샘플링을 적용한 노드2vec을 적용한다.
• 특정 의미 경로(예: 'isa' 또는 'related_to')를 따라 랜덤 워크를 제약함으로써 SNOMED-CT의 다중관계적 의존성을 모델링하기 위해 메타패스2vec을 활용한다.
• 트리 구조 온톨로지에 이론적으로 적합한 허브릭스 공간에서 SNOMED-CT의 계층적 구조를 모델링하기 위해 파oincaré 임베딩을 사용한다.
• SNOMED-CT 내 470만 개의 관계를 사용해 훈련 데이터를 구성하고, 양성 및 음성 링크 예측 쌍의 균형을 맞추기 위해 음성 샘플링을 적용한다.
• CCS 온톨로지를 사용해 MIMIC-III EHR 데이터셋의 ICD-9 코드를 SNOMED-CT 개념으로 매핑하여 환자 상태 예측을 가능하게 한다.
• 노드 분류(43개의 의미 유형), 링크 예측(SVM 분류기), 개념 유사도(부트스트랩 리샘플링), 환자 진단 예측(다중 레이블 분류)을 사용해 임베딩을 평가한다.

실험 결과

연구 질문

• RQ1 SNOMED-CT에서 그래프 기반 임베딩 방법이 Med2Vec 및 CUI2Vec과 같은 EHR 기반 방법보다 하류 임상 작업에서 성능을 뛰어나게 할 수 있는가?
• RQ2 계층적 구조를 허브릭스 공간에서 모델링하는 파oincaré 임베딩이 유사도를 캡처하는 데 있어 유클리드 임베딩과 비교해 어떻게 성능을 내는가?
• RQ3 계층적 추론이 필요한 작업(예: 노드 분류)과 일반적인 관련성(예: 개념 유사도)을 요구하는 작업 중 어느 임베딩 방법이 가장 우수한 성능을 내는가?
• RQ4 임베딩 차원이 다양한 평가 작업에서 성능에 어떻게 영향을 미치는가?
• RQ5 기존 최신 기법 대비 SNOMED-CT에서 유도된 임베딩이 환자 상태 예측 성능을 얼마나 향상시키는가?

주요 결과

• 파oincaré 임베딩은 다중 레이블 노드 분류에서 CUI2vec 대비 50%의 정확도 향상을 보였고, Med2Vec에 비해 수 개의 지수 수준 향상되어 의미 유형 예측에서 뛰어난 성능을 입증했다.
• 링크 예측 작업에서 노드2vec은 Med2Vec 대비 15% 향상되고 CUI2vec 대비 36% 향상되어 장거리 및 간접적 관계를 잘 포착하는 것으로 나타났다.
• 개념 유사도 작업에서 노드2vec는 의미 그룹 간 비계층적 관계 평가에서 CUI2vec 대비 5–6배 높은 통계적 검정력(통계적 힘)을 보였다.
• 파oincaré 임베딩은 CUI2vec(다음으로 우수한 방법) 대비 환자 진단 예측에서 6% 향상되었으며, 일반적인 진단 예측에 특히 효과적이었다.
• 메타패스2vec은 가장 흔한 진단을 예측하는 데서 CUI2vec 및 Med2Vec 대비 20% 향상되어 복잡한 관계 패턴을 모델링하는 데서 강점을 보였다.
• 최적의 임베딩 차원은 파oincaré 및 노드2vec에 대해 100으로 확인되었고, 메타패스2vec는 다양한 차원에서 일관된 성능을 보여 하이퍼파rameter 선택에 대해 뛰어난 내구성을 지녔다.