[논문 리뷰] Self-Attention Enhanced Patient Journey Understanding in Healthcare System

Xueping Peng, Guodong Long외 3명|arXiv (Cornell University)|2020. 06. 15.

Machine Learning in Healthcare참고 문헌 34인용 수 5

한 줄 요약

이 논문은 환자, 진료, 의료 코드 수준의 다중 수준 전자 건강 기록(EHR) 데이터에서 시간적 및 맥락적 관계를 모델링하기 위해 마스크된 자기주의(mSA)를 활용하는 다중 수준 자기주의 네트워크인 MusaNet을 제안한다. 이 방법은 실제 데이터셋에서 재입원 및 진단 예측에서 최신 기술(SOTA) 수준의 성능을 달성하며, SOTA 기준 대비 정확도를 최대 2.83% 향상시켰다.

ABSTRACT

Understanding patients' journeys in healthcare system is a fundamental prepositive task for a broad range of AI-based healthcare applications. This task aims to learn an informative representation that can comprehensively encode hidden dependencies among medical events and its inner entities, and then the use of encoding outputs can greatly benefit the downstream application-driven tasks. A patient journey is a sequence of electronic health records (EHRs) over time that is organized at multiple levels: patient, visits and medical codes. The key challenge of patient journey understanding is to design an effective encoding mechanism which can properly tackle the aforementioned multi-level structured patient journey data with temporal sequential visits and a set of medical codes. This paper proposes a novel self-attention mechanism that can simultaneously capture the contextual and temporal relationships hidden in patient journeys. A multi-level self-attention network (MusaNet) is specifically designed to learn the representations of patient journeys that is used to be a long sequence of activities. The MusaNet is trained in end-to-end manner using the training data derived from EHRs. We evaluated the efficacy of our method on two medical application tasks with real-world benchmark datasets. The results have demonstrated the proposed MusaNet produces higher-quality representations than state-of-the-art baseline methods. The source code is available in https://github.com/xueping/MusaNet.

연구 동기 및 목표

• 장기간의 의존성과 비정규적인 진료 간격을 가진 다중 수준의 시간적으로 구조화된 EHR 데이터를 모델링하는 데 도전하는 것.
• RNN과 CNN가 환자 여정에서 장기적인 시간적 의존성과 맥락적 관계를 포착하는 데 한계를 가진다는 점을 해결하는 것.
• 시간 정보를 유지하고 설명 가능한 표현 학습을 가능하게 하는 엔드 투 엔드의 주의 기반 모델을 개발하는 것.
• 더 풍부하고 맥락 인식 가능한 환자 임bedding을 사용하여 재입원 및 진단 예측과 같은 후행 임상 예측 작업을 향상시키는 것.
• 진료 간 시간 간격을 명시적으로 모델링하면서도 맥락적 의존성을 포착하는 새로운 마스크된 자기주의 메커니즘을 도입하는 것.

제안 방법

• 환자 여정 내 진료 간의 맥락적 및 시간적 관계를 모두 포착하는 마스크된 자기주의(mSA) 메커니즘을 제안한다.
• 의료 코드를 진료 수준으로 집계하고, 진료를 환자 수준 표현으로 통합하기 위해 계층적 주의 풀링을 갖춘 다중 수준 자기주의 네트워크(MusaNet)를 설계한다.
• 연속적인 진료 간 시간 간격을 명시적으로 모델링하기 위해 간격 인코딩을 통합하여 시간 모델링 성능을 향상시킨다.
• 자기주의 레이어를 사용하여 진료 간 동적 주의 가중치를 계산함으로써 장거리 의존성을 효과적으로 포착한다.
• 의료 코드와 진료에 대해 학습 가능한 임bedding을 사용하고, 순서 유지를 위해 위치 인코딩을 적용한다.
• 후행 예측 작업을 위한 지도 학습 손실 함수를 사용하여 전체 네트워크를 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 자기주의 기반 모델이 다중 수준 EHR 데이터에서 장거리 시간적 및 맥락적 의존성을 효과적으로 포착할 수 있는가?
• RQ2 비정규적인 진료 간격을 가진 환자 여정 시퀀스를 모델링할 때 제안된 마스크된 자기주의 메커니즘이 RNN과 CNN보다 어떻게 성능을 높이는가?
• RQ3 MusaNet이 최신 기술(SOTA) 방법에 비해 재입원 및 진단 예측과 같은 임상 작업의 예측 성능을 얼마나 향상시키는가?
• RQ4 MusaNet의 주의 가중치는 향후 건강 결과에 가장 예측 가능한 특정 진료나 진단을 어떻게 가시화할 수 있는가?
• RQ5 간격 인코딩의 통합이 EHR 시퀀스에서 시간 역학을 모델링하는 데 모델의 능력을 크게 향상시키는가?

주요 결과

• Dx 데이터셋에서 MusaNet은 재입원 예측 정확도를 SOTA 기준 대비 최대 2.83% 향상시켰다.
• Dx&Tx 데이터셋에서 MusaNet은 최고 성능을 보인 베이스라인 대비 재입원 예측 정확도를 1.07% 향상시켰다.
• Dx 데이터셋에서 진단 예측의 precision@5는 2.2% 향상되었고, Dx&Tx 데이터셋에서는 precision@30가 1.4% 향상되었다.
• 주의 시각화 결과, 특정 진료(예: ICD 코드 585.6(말기 신장질환)를 가진 Visit 1)가 향후 재입원에 매우 예측 가능한 것으로 나타났다.
• 장기적인 인슐린 사용(ICD V58.6.7)과 고콜레스테롤혈증(ICD 272.0)과 같은 핵심 진단이 개별 사례에서 재입원 위험의 주요 기여 요소로 식별되었다.
• 주의 히트맵을 통한 설명 가능성 검증 결과, MusaNet은 높은 해석 가능성으로 임상적으로 관련성이 높은 진료와 진단을 효과적으로 강조할 수 있었다.