[논문 리뷰] Application of Clinical Concept Embeddings for Heart Failure Prediction in UK EHR data

Spiros Denaxas, Pontus Stenetorp외 4명|arXiv (Cornell University)|2018. 11. 23.

Machine Learning in Healthcare참고 문헌 30인용 수 5

한 줄 요약

이 연구는 영국 전자건강기록(EHR)에 기반한 GloVe 기반 임베딩을 활용해 심부전 위험을 예측한다. 진단 및 절차의 저차원 표현은 원-핫 인코딩보다 예측 성능을 향상시키며, 주요 및 보조 진단, 절차를 통합한 모델에서 AUROC 0.6965를 기록하여 이질적인 데이터 소스 간에 안정적인 성능을 보였다.

ABSTRACT

Electronic health records (EHR) are increasingly being used for constructing disease risk prediction models. Feature engineering in EHR data however is challenging due to their highly dimensional and heterogeneous nature. Low-dimensional representations of EHR data can potentially mitigate these challenges. In this paper, we use global vectors (GloVe) to learn word embeddings for diagnoses and procedures recorded using 13 million ontology terms across 2.7 million hospitalisations in national UK EHR. We demonstrate the utility of these embeddings by evaluating their performance in identifying patients which are at higher risk of being hospitalised for congestive heart failure. Our findings indicate that embeddings can enable the creation of robust EHR-derived disease risk prediction models and address some the limitations associated with manual clinical feature engineering.

연구 동기 및 목표

• 영국 EHR 데이터에서 저차원 임상 개념 임베딩을 개발하고 심부전 위험 예측에 평가한다.
• 매우 고차원적이고 이질적인 EHR 데이터에서 수작업 특징 공학의 의존도를 줄일 수 있는지 평가한다.
• 대규모 다기관 영국 EHR 데이터셋에서 임베딩의 예측 성능을 기존의 원-핫 인코딩과 비교한다.
• 예를 들어 주요 대비 보조 진단, 절차와 같은 다양한 임상 데이터 구성 요소가 모델 성능에 미치는 영향을 조사한다.

제안 방법

• 영국 바이오뱅크 EHR 데이터의 270만 건의 입원 기록에서 유도어 1,300만 개의 온톨로지 용어를 기반으로 GloVe 단어 임베딩을 학습한다.
• 네 가지 별도의 코퍼스를 구성: 주요 진단(PRIMDX), 주요 진단 + 절차(PRIMDX-PROC), 주요 + 보조 진단(PRIMDX-SECDX), 세 가지를 모두 통합한 경우(PRIMDX-SECDX-PROC).
• 환자의 개별 기록을 EHR 내 모든 임상 개념의 평균 임베딩을 사용해 조밀한 벡터 표현으로 변환한다.
• 5겹 교차검증을 통해 환자 수준의 임베딩을 기반으로 선형 SVM 분류기를 학습하고, 그리드 서치를 통해 초모수를 최적화한다.
• 검증용 테스트 세트에서 AUROC와 가중 F1 스코어를 사용해 모델 성능을 평가하며, 벡터 크기와 컨텍스트 창 크기의 변화에 따른 성능을 분석한다.
• 학습된 임베딩 공간 내에서 임상 개념 간 의미 관계를 시각화하기 위해 t-SNE를 사용한다.

실험 결과

연구 질문

• RQ1 GloVe 기반 임상 개념 임베딩은 영국 인구에서 심부정 예측을 위한 이질적인 EHR 데이터를 효과적으로 표현할 수 있는가?
• RQ2 영국 EHR 데이터에서 임베딩 기반 모델의 예측 성능는 기존의 원-핫 인코딩 기반 모델보다 어떻게 비교되는가?
• RQ3 예를 들어 주요 대비 보조 진단, 절차 등 다양한 임상 데이터 조합 중 어느 조합이 가장 높은 예측 성능을 낼 수 있는가?
• RQ4 임베딩 사용이 단일 소스 연구 대비 다양한 다기관 EHR 소스 간에 모델의 강건성을 향상시키는가?

주요 결과

• 임상 개념 임베딩을 사용한 최고의 모델은 주요 및 보조 진단과 절차를 통합한 결과 AUROC 0.6965, F1 스코어 0.7500을 기록했다.
• 임베딩은 원-핫 인코딩에 비해 약간 우수한 성능을 보였으며, PRIMDX-SECDX-PROC 모델이 최고의 AUROC(0.6965)와 F1(0.7500)을 기록했다.
• PRIMDX-SECDX-PROC로 학습한 모델는 PRIMDX만으로 학습한 모델보다 일관되게 높은 성능를 보였으며, 비록 최적의 개별 설정에서 PRIMDX가 略로 약간 더 좋은 성능를 보였지만 이를 뛰어넘었다.
• 임베딩 공간은 의미적인 관계를 잘 포착했으며, I50(심부전)는 생물학적으로 관련된 용어인 I25(만성 허혈성 심장질환)와 I21(급성 심내막경색)와 가까운 거리에 위치해 있었다.
• 더 포괄적이지 않은 코퍼스의 경우 작은 벡터 크기(50D)와 큰 컨텍스트 창 크기(10–20)가 최적의 성능를 내는 것으로 나타났고, 전체 코퍼스의 경우 더 큰 벡터 크기(250D)와 작은 창 크기(5)가 최적의 성능를 보였다.
• 이전의 미국 기반 연구와 유사한 방법을 사용한 결과와 비교했을 때 성능가 비슷했으며, 이는 임베딩이 다양한 의료 시스템과 데이터 소스 간에 강건함을 시사한다.