[논문 리뷰] Transfer Learning in Electronic Health Records through Clinical Concept Embedding

José Roberto Ayala Solares, Yajie Zhu외 7명|arXiv (Cornell University)|2021. 07. 27.

Machine Learning in Healthcare참고 문헌 61인용 수 4

한 줄 요약

이 연구는 전자 건강 기록(EHR) 내 임상 개념 임bedding을 평가하기 위한 종합적인 프레임워크를 제안한다. 전이 학습을 활용하여 310만 명의 환자로 구성된 EHR 데이터셋에서 최신 기술의 질병 임bedding 모델을 훈련시켰다. 정량적이고 정성적인 벤치마크 방법을 도입하고 사전 학습된 임bedding을 공개함으로써 다양한 임상 과제에서 전이 학습 성능을 크게 향상시켰다.

ABSTRACT

Deep learning models have shown tremendous potential in learning representations, which are able to capture some key properties of the data. This makes them great candidates for transfer learning: Exploiting commonalities between different learning tasks to transfer knowledge from one task to another. Electronic health records (EHR) research is one of the domains that has witnessed a growing number of deep learning techniques employed for learning clinically-meaningful representations of medical concepts (such as diseases and medications). Despite this growth, the approaches to benchmark and assess such learned representations (or, embeddings) is under-investigated; this can be a big issue when such embeddings are shared to facilitate transfer learning. In this study, we aim to (1) train some of the most prominent disease embedding techniques on a comprehensive EHR data from 3.1 million patients, (2) employ qualitative and quantitative evaluation techniques to assess these embeddings, and (3) provide pre-trained disease embeddings for transfer learning. This study can be the first comprehensive approach for clinical concept embedding evaluation and can be applied to any embedding techniques and for any EHR concept.

연구 동기 및 목표

• 임상 개념 임bedding의 표준화된 평가 방법이 부족하여 효과적인 전이 학습이 저해되는 문제를 해결하기 위해.
• Skip-gram, CBOW, BEHRT와 같은 주요 질병 임bed딩 기법을 310만 명의 환자로 구성된 대규모 EHR 데이터셋에서 훈련하기 위해.
• 학습된 임bedding의 임상적 의미와 유용성을 평가하기 위해 정량적 및 정성적 평가 기법을 개발하고 적용하기 위해.
• 공개용으로 사전 학습된 질병 임bedding을 제공하여 임상 기계학습에서 재현 가능하고 확장 가능한 전이 학습을 가능하게 하기 위해.
• 모든 임bedding 기법과 EHR 개념 유형에 적용 가능한 벤치마크 프레임워크를 구축하여 임상 표현 학습의 일관성과 품질을 향상시키기 위해.

제안 방법

• 310만 명의 환자로부터 진단, 약물, 절차 정보를 포함한 익명화된 EHR 데이터셋을 기반으로 Skip-gram, CBOW, BEHRT를 포함한 여러 딥러닝 기반 임bedding 모델을 훈련시었다.
• 임상 개념 임bedding의 의미적 일관성을 향상시키기 위해 대조 학습과 환자 수준의 표현 학습을 활용했다.
• 벡터 공간 내 질병 임bedding 간의 유사도를 평가하기 위해 코사인 유사도를 적용하였으며, 이를 ICD-10 계층적 관계와 비교하였다.
• 예측 모델링 과제(예: 질병 예측)를 통해 임bedding의 최종 응용 분야에서의 유용성을 검증하였다.
• 정성적 분석을 위해 임bedding 클러스터를 시각화하여 의미적으로 유사한 질병(예: 관련 ICD-10 코드)이 함께 군집되는지 평가하였다.
• 내재 평가(임베딩 간 유사도) 및 외재 평가(하류 예측 성능) 지표를 모두 사용하여 모델을 벤치마크하였다.

실험 결과

연구 질문

• RQ1 다양한 질병 임bedding 모델(Skip-gram, CBOW, BEHRT 등)이 EHR 데이터 내 진단 간 임상적으로 의미 있는 관계를 얼마나 잘 포착하는가?
• RQ2 학습된 임bedding이 ICD-10 계층적 관계를 얼마나 잘 반영하는가? 관련 진단 간 코사인 유사도로 측정한다.
• RQ3 제안된 평가 프레임워크는 다양한 임상 개념에서 높은 품질의 임bedding과 열등한 임bedding을 신뢰성 있게 구분할 수 있는가?
• RQ4 기본적인 특징 공학 기법에 비해 사전 학습된 임bedding이 하류 임상 예측 과제에서 전이 학습 성능을 얼마나 향상시키는가?
• RQ5 시퀀스 모델링, 대조 학습 등 다양한 훈련 전략이 임상 개념 임bedding의 품질과 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• BEHRT는 'M54: Dorsalgia'와 가장 가까운 10개의 매칭 중에서 최고의 코사인 유사도 0.98563을 기록하여 임상적으로 관련된 상태와 강한 의미적 일치를 보였다.
• NCF 모델은 'M54: Dorsalgia'와 코사인 유사도 0.98303을 기록하여 벡터 공간 내 질병 간의 유사성을 강력하게 포착함을 보였다.
• 'R10: Abdominal and pelvic pain'에 대해 AE 모델은 'K58: Irritable bowel syndrome'를 최상위 매칭으로 선정하였으며, 코사인 유사도 0.91692를 기록하여 높은 임상적 관련성을 시사했다.
• CBOWA 모델은 'R19: Other symptoms and signs involving the digestive system and abdomen'와 코사인 유사도 0.67008을 기록하여 중간 정도이지만 의미 있는 군집화를 보였다.
• BEHRT는 'R21: Rash and other nonspecific skin eruption'와 코사인 유사도 0.30496을 기록하여 약한 연관성은 있었지만 여전히 합리적인 관련성이 있음을 시사했다.
• 대조 학습과 시퀀스 기반 목표를 사용해 훈련한 임bedding(예: BEHRT)이 전통적 방법(예: CBOW)보다 복잡하거나 비특이적인 증상에 대해 임상적으로 관련된 관계를 더 잘 포착하는 것으로 나타났다.