[논문 리뷰] Hi-BEHRT: Hierarchical Transformer-based model for accurate prediction of clinical events using multimodal longitudinal electronic health records

Yikuan Li, Mohammad Mamouei외 6명|arXiv (Cornell University)|2021. 06. 21.

Machine Learning in Healthcare참고 문헌 33인용 수 12

한 줄 요약

Hi-BEHRT는 다중 모odal 종단적 전자 건강 기록(EHR)에서 장기적 의료 의존성을 포착하기 위해 표준 트랜스포머의 수신 영역을 확장하는 계층적 트랜스포머 기반 모델이다. 이 모델은 심부전, 당뇨병, 만성 신장 질환, 뇌졸중의 5년 위험 예측에서 평균적으로 AUROC을 1%~5% 향상시키고 AUPRC를 3%~6% 향상시키며, 장기적인 병력이 있는 환자에서는 더 큰 성능 향상을 보였다.

ABSTRACT

Electronic health records represent a holistic overview of patients' trajectories. Their increasing availability has fueled new hopes to leverage them and develop accurate risk prediction models for a wide range of diseases. Given the complex interrelationships of medical records and patient outcomes, deep learning models have shown clear merits in achieving this goal. However, a key limitation of these models remains their capacity in processing long sequences. Capturing the whole history of medical encounters is expected to lead to more accurate predictions, but the inclusion of records collected for decades and from multiple resources can inevitably exceed the receptive field of the existing deep learning architectures. This can result in missing crucial, long-term dependencies. To address this gap, we present Hi-BEHRT, a hierarchical Transformer-based model that can significantly expand the receptive field of Transformers and extract associations from much longer sequences. Using a multimodal large-scale linked longitudinal electronic health records, the Hi-BEHRT exceeds the state-of-the-art BEHRT 1% to 5% for area under the receiver operating characteristic (AUROC) curve and 3% to 6% for area under the precision recall (AUPRC) curve on average, and 3% to 6% (AUROC) and 3% to 11% (AUPRC) for patients with long medical history for 5-year heart failure, diabetes, chronic kidney disease, and stroke risk prediction. Additionally, because pretraining for hierarchical Transformer is not well-established, we provide an effective end-to-end contrastive pre-training strategy for Hi-BEHRT using EHR, improving its transferability on predicting clinical events with relatively small training dataset.

연구 동기 및 목표

• 장기적인 종단적 EHR 데이터를 처리하는 데 있어 표준 딥 러닝 모델의 한계를 해결하기 위해.
• 표준 트랜스포머의 제한된 수신 영역로 인해 장기적 의료 의존성을 포착하기 어려운 문제를 극복하기 위해.
• 심부정, 당뇨병, 만성 신장 질환, 뇌졸중과 같은 임상 이벤트를 십년 이상의 환자 병력 기반으로 정확하게 예측할 수 있도록 하기 위해.
• 작은 후행 데이터셋에서의 이식 가능성을 향상시키기 위해 계층적 트랜스포머에 효과적인 엔드 투 엔드 대비 사전 훈련 전략을 개발하기 위해.
• 장기적 패턴이 예측에 가장 중요한 환자, 즉 장기적인 병력이 있는 환자에서의 모델 성능 향상시키기 위해.

제안 방법

• 다양한 해상도 수준에서 EHR 시퀀스를 처리할 수 있는 계층적 어텐션 메커니즘을 제안하여 더 긴 효과적 맥락 창을 가능하게 하였다.
• 이중 수준의 트랜스포머 아키텍처를 구조화하여, 국소 인코더가 개별 방문 기록을 처리하고, 글로벌 인코더가 방문 수준의 표현을 집계하도록 하였다.
• 임상 예측 작업에 대한 피넷튜닝 이전에 의미 있는 표현을 학습하기 위해 EHR 데이터를 기반으로 한 새로운 엔드 투 엔드 대비 사전 훈련 목표를 도입하였다.
• 진단, 약물, 검사 결과, 절차 등의 다중 모odal EHR 데이터를 통합하여 통합된 임bedding 공간에 통합하였다.
• 시간 순서와 관계를 유지하기 위해 상대적 위치 인코딩을 사용한 마스킹 자기 어텐션을 사용하였다.
• 클래스 불균형 샘플링을 적용한 이진 교차 엔트로피 손실을 사용하여 후행 임상 이벤트 예측 작업에서 사전 훈련된 모델을 피넷튜닝 하였다.

실험 결과

연구 질문

• RQ1 계층적 트랜스포머 아키텍처가 표준 트랜스포머의 수신 영역을 효과적으로 확장하여 십년 이상의 EHR 시퀀스를 모델링할 수 있는가?
• RQ2 Hi-BEHRT는 BEHRT와 같은 최신 기술 모델과 비교해 여러 질환에서 5년 내 임상 이벤트를 예측할 때 어떻게 성능을 내는가?
• RQ3 제안된 대비 사전 훈련 전략이 제한된 레이블이 부여된 EHR 데이터에서 모델의 일반화 능력을 얼마나 향상시키는가?
• RQ4 Hi-BEHRT는 짧은 병력 대비 장기적인 병력이 있는 환자에서 유의미한 성능 향상을 보이는가?
• RQ5 표준 모델이 놓치는 임상적으로 유의미한 장기적 의존성을 모델이 포착할 수 있는가?

주요 결과

• Hi-BEHRT는 심부전, 당뇨병, 만성 신장 질환, 뇌졸중의 5년 위험 예측에서 이전의 최신 기술인 BEHRT 모델 대비 평균적으로 AUROC을 1%~5% 향상시키고 AUPRC를 3%~6% 향상시켰다.
• 장기적인 병력이 있는 환자에서는 AUROC가 3%~6% 향상되고 AUPRC는 최대 11% 향상되어 장기적 의존성을 더 잘 포착함을 입증하였다.
• 엔드 투 엔드 대비 사전 훈련 전략은 모델의 이식 가능성을 크게 향상시켜 비교적 작은 후행 훈련 데이터셋에서도 강력한 성능을 발휘하게 하였다.
• 계층적 설계는 다양한 의료 모odal 간의 복잡한 시간 패턴을 성공적으로 포착하였으며, 장기 시퀀스 모델링에서 비계층적 대비 모델보다 우수한 성능을 보였다.
• 모델은 다양한 임상 조건에서 뛰어난 성능 유지를 유지하여 여러 만성 질환 예측 과제에 일반화 가능성을 보였다.
• 제거 실험 결과, 계층적 아키텍처와 대비 사전 훈련 모두 성능 향상에 필수적이며, 각 구성 요소가 최종 결과에 크게 기여하는 것으로 확인되었다.