[논문 리뷰] Deep Representation for Patient Visits from Electronic Health Records

Jean-Baptiste Escudié, Alaa Saade외 2명|arXiv (Cornell University)|2018. 03. 26.

Machine Learning in Healthcare참고 문헌 17인용 수 6

한 줄 요약

이 논문은 원시 전자 건강 기록(EHR) 데이터—자유형 텍스트 노트와 구조화된 데이터를 모두 포함—에서 환자의 진료 기록에 대한 저차원이며 임상적으로 의미 있는 임bedding을 학습하기 위해 지도 학습 기반의 딥 러닝 방법을 제안한다. 이는 신경망을 통해 ICD-9 진단 장을 예측하도록 훈련시킴으로써 이루어지며, 결과적으로 얻어진 임bedding은 관련 의료 의미를 포착하고, 후속 예측 성능(예: ICD 코딩)을 향상시키며, 임베딩 공간 내에서 해석 가능한 임상적 방향성을 드러내어 재사용이 가능하며 재학습 없이도 다양한 임상 작업에 활용할 수 있다.

ABSTRACT

We show how to learn low-dimensional representations (embeddings) of patient visits from the corresponding electronic health record (EHR) where International Classification of Diseases (ICD) diagnosis codes are removed. We expect that these embeddings will be useful for the construction of predictive statistical models anticipated to drive personalized medicine and improve healthcare quality. These embeddings are learned using a deep neural network trained to predict ICD diagnosis categories. We show that our embeddings capture relevant clinical informations and can be used directly as input to standard machine learning algorithms like multi-output classifiers for ICD code prediction. We also show that important medical informations correspond to particular directions in our embedding space.

연구 동기 및 목표

• 원시 EHR 데이터(구조화된 데이터와 자유형 텍스트 모두 포함)를 사용하여 일반적인 저차원 환자 진료 표현을 개발하기.
• 수동적 특징 공학 없이도 임상적으로 관련 있는 임베딩을 학습하기 위해 ICD 코드 예측을 자가 supervision 태스크로 활용하기.
• 학습된 임베딩이 의료 의미를 유지하고 후속 예측 작업에서 성능 향상을 이끌어내는지 입증하기.
• 다양한 임상 응용 분야(예: 코hort 선별, 질병 예측)에서 동일한 임베딩을 재사용 가능하게 하여 이후 모델의 계산 비용을 줄이기.
• 임베딩 공간 내에서 특정 의료 개념(예: 패혈성 쇼크, 항생제 내성)을 방향성 패턴으로 식별함으로써 임베딩의 해석 가능성 확보하기.

제안 방법

• 딥 네트워크는 원시 EHR 입력에서 ICD-9 진단 장(19개의 광범위한 카테고리)을 예측하도록 훈련되며, 이 작업을 의미 있는 표현을 학습하는 대체 기준으로 사용한다.
• 모델은 구조화된 EHR 데이터(卡-제곱 특징 선택을 통해 40,000개에서 8,000개로 감소)와 자유형 임상 노트(최대 2,000단어로 제한)를 입력으로 받는다.
• 네트워크 아키텍처는 ReLU 활성화 함수를 사용하는 밀집층을 포함하며, 최종 인코더 레이어는 ℝ⁴⁴⁸ 내 448차원의 임베딩 벡터를 생성한다.
• 훈련 목표는 19개의 ICD-9 장에 대한 다중 클래스 교차 엔트로피 손실이며, 이는 진단 간 일반화가 가능한 공유 표현을 학습하도록 한다.
• 특징 선택은 카-제곱 검정을 사용해 자동으로 수행되어 표현 학습 과정에서 전문가의 간섭 없이 수행된다.
• 임베딩의 해석 가능성은 알려진 임상 개념(예: 패혈성 쇼크, 자가면역 합병증)과 임베딩 공간 내 벡터 방향 간의 공선성 분석을 통해 평가된다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크는 수동적 특징 공학 없이 원시 EHR 데이터에서 직접 저차원이며 임상적으로 의미 있는 환자 진료 표현을 학습할 수 있는가?
• RQ2 ICD-9 진단 장 예측을 자가 supervision 태스크로 사용할 경우, 관련 의료 의미를 포착하고 후속 예측 성능을 향상시키는 임베딩을 얻을 수 있는가?
• RQ3 특정 임상 개념(예: 패혈성 쇼크, 항생제 내성)이 학습된 임베딩 공간 내에서 해석 가능한 방향성으로 표현되는가?
• RQ4 동일한 사전 계산된 임베딩이 다양한 후속 작업에서 효과적으로 재사용될 수 있는가, 재학습이 필요 없이?
• RQ5 원시 EHR 특징을 직접 사용하는 표준 머신 러닝 모델에 비해 임베딩의 품질은 어떻게 비교되는가?

주요 결과

• 학습된 448차원 임베딩은 원시 EHR 특징을 직접 사용할 때보다 랜덤 포레스트 분류기의 ICD 코드 예측 성능을 크게 향상시켰다.
• 임베딩은 입력 특징에 명시적으로 포함되지 않은 복잡한 임상 개념(예: 패혈성 쇼크, 심장성 쇼크)을 공선성 분석을 통해 포착하고 있었다.
• 구조화된 EHR 데이터에 존재하지 않은 자가면역 합병증도 임베딩 공간에서 회복 가능했으며, 이는 데이터 희소성에 대한 강건성을 시사한다.
• 모델은 19개의 광범위한 ICD-9 장 내에서 더 세밀한 진단 개념을 성공적으로 정렬하여, 클래스 불균형이 존재하더라도 표현이 미세한 임상 의미를 포괄하고 있음을 입증했다.
• 임베딩 공간은 핵심 의료 개념에 해당하는 해석 가능한 방향성을 드러내어 임베딩의 임상적 관련성과 해석 가능성의 타당성을 검증했다.
• 임베딩 사전 계산은 다양한 후속 작업에서 효율적인 재사용을 가능하게 하여 이후 모델의 계산 비용을 줄였다.