[논문 리뷰] ConCare: Personalized Clinical Feature Embedding via Capturing the Healthcare Context

Liantao Ma, Chaohe Zhang외 7명|arXiv (Cornell University)|2019. 11. 27.

Machine Learning in Healthcare참고 문헌 14인용 수 6

한 줄 요약

ConCare는 다중 채널 및 시간 인지 기반의 딥러닝 프레임워크로, 동적 및 정적 건강 특징을 함께 모델링하여 개인화된 임상 특징 임베딩을 학습한다. 자기주의 주의(self-attention)에서 교차 헤드 비상관성(cross-head decorrelation)을 사용해 시간 시리즈 및 기본 데이터 간의 상호의존성을 포착한다. 이는 두 개의 실제 EMR 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 임상 전문가와 문헌을 통한 검증을 통과하였다.

ABSTRACT

Predicting the patient's clinical outcome from the historical electronic medical records (EMR) is a fundamental research problem in medical informatics. Most deep learning-based solutions for EMR analysis concentrate on learning the clinical visit embedding and exploring the relations between visits. Although those works have shown superior performances in healthcare prediction, they fail to explore the personal characteristics during the clinical visits thoroughly. Moreover, existing works usually assume that the more recent record weights more in the prediction, but this assumption is not suitable for all conditions. In this paper, we propose ConCare to handle the irregular EMR data and extract feature interrelationship to perform individualized healthcare prediction. Our solution can embed the feature sequences separately by modeling the time-aware distribution. ConCare further improves the multi-head self-attention via the cross-head decorrelation, so that the inter-dependencies among dynamic features and static baseline information can be effectively captured to form the personal health context. Experimental results on two real-world EMR datasets demonstrate the effectiveness of ConCare. The medical findings extracted by ConCare are also empirically confirmed by human experts and medical literature.

연구 동기 및 목표

• 기존의 EMR 모델이 동적 임상 특징과 정적 기초 정보를 충분히 통합하지 못하는 한계를 해결하기 위해.
• 일반적인 최근 우선성 편향을 가정하는 대신, 각 임상 특징에 대해 개별적으로 시간 감쇠 영향을 모델링하기 위해.
• 동적 특징 간의 상호의존성과 정적 기초 정보를 포괄하여 전반적인 환자별 건강 맥락을 형성하기 위해.
• 교차 헤드 비상관성과 함께 맥락 인지 다중 헤드 주의 메커니즘을 통해 특징을 재인코딩하여 예측 성능을 향상시키기 위해.
• 의료 전문가가 검증한 임상적으로 의미 있는 통찰, 예를 들어 특징 감쇠 속도와 교차 특징 주의 패턴을 제공하기 위해.

제안 방법

• ConCare는 각 임상 특징의 시간 시리즈를 별도로 임bedding하기 위해 다중 채널 GRU 인코더를 사용하여, 학습 가능한 파rameter를 통해 개별적인 시간 인지 감쇠 모델링을 가능하게 한다.
• 모델은 각 특징별 감쇠 속도에 따라 시간 감쇠 효과를 모델링하는 시간 인지 자기주의 주의 메커니즘을 적용하여, 특징에 따라 유연하게 과거 값에 주의를 기울일 수 있도록 한다.
• 주목적 헤드 간의 다양성을 증진시켜 표현 학습을 향상시키고 복잡한 상호의존성을 포착하기 위해 교차 헤드 비상관성 손실을 도입한다.
• 동적 특징(예: 검사값)과 정적 기초 특징(예: 연령, 진단) 간의 관계를 전반적인 맥락에서 명시적으로 모델링하여 개인화된 건강 표현을 형성한다.
• 모든 특징의 맥락 인지 임베딩을 융합하여 최종 건강 표현을 생성함으로써 정확한 후속 예측 작업을 가능하게 한다.

실험 결과

연구 질문

• RQ1 동적 및 정적 건강 정보를 포함한 개인별 환자 맥락을 반영할 수 있도록 임상 특징 임베딩을 어떻게 개인화할 수 있는가?
• RQ2 일반적인 최근 우선성 편향을 가정하지 않고, 다양한 임상 특징에 대해 시간 감쇠 효과를 최적화해 모델링하는 방법은 무엇인가?
• RQ3 동적 임상 특징 간의 상호의존성과 정적 기초 정보를 효과적으로 포착하여 건강 예측을 향상시키는 방법은 무엇인가?
• RQ4 자기주의 주의에서 교차 헤드 비상관성이 임상 시퀀스 모델링에서 표현 학습을 얼마나 향상시키는가?
• RQ5 모델의 주의 패턴과 학습된 감쇠 속도는 임상적으로 해석 가능하며 의료 전문가에 의해 검증될 수 있는가?

주요 결과

• ConCare는 두 개의 실제 EMR 데이터셋에서 최신 기술 수준의 베이스라인을 초월하여 의료 예측 과제에서 뛰어난 성능을 보였다.
• 모델은 특징별 감쇠 속도를 학습하여, 혈액 요소 질소, 혈액형, 혈액형, 백혈구 수치 등 빠르게 변화하는 지표가 단기 변화에 더 민감함을 보였다.
• 알부민, 나트륨, 혈압과 같은 장기적 특징은 임상적으로 만성 질환에서의 역할과 일치하는 바, 느린 감쇠 속도를 보였다.
• 교차 특징 주의 분석을 통해 당뇨병 환자에서 포도당, hs-CRP, 알부민, 당뇨병 진단 간 강한 상호의존성이 드러났으며, 이는 의료 문헌과 일치하였다.
• 교차 헤드 비상관성 손실은 성능 향상에 크게 기여하여, 주의 다양성 향상과 표현 품질 향상의 역할을 확인시켰다.
• 의료 전문가들은 모델의 주의 패턴과 감쇠 속도 해석이 임상적으로 타당하며 기존 의료 지식과 일치함을 확인하였다.