[논문 리뷰] An explainable Transformer-based deep learning model for the prediction of incident heart failure

Shishir Rao, Yikuan Li외 7명|arXiv (Cornell University)|2021. 01. 27.

Machine Learning in Healthcare인용 수 7

한 줄 요약

이 연구는 100,071명의 영국 환자로부터의 종단적 전자건강기록(EHR) 데이터를 활용해 사건 심부전을 예측하는 새로운 설명 가능성을 가진 트랜스포머 기반 딥러닝 모델을 제시한다. 이 모델은 내부적으로 AUC-ROC 0.93, 외부적으로도 AUC-ROC 0.93를 기록하며, 기존 모델들을 능가하면서도 펌프테이션 기반 설명 방법을 통해 기존에 알려진 요인과 새로운 위험 요인을 식별한다.

ABSTRACT

Predicting the incidence of complex chronic conditions such as heart failure is challenging. Deep learning models applied to rich electronic health records may improve prediction but remain unexplainable hampering their wider use in medical practice. We developed a novel Transformer deep-learning model for more accurate and yet explainable prediction of incident heart failure involving 100,071 patients from longitudinal linked electronic health records across the UK. On internal 5-fold cross validation and held-out external validation, our model achieved 0.93 and 0.93 area under the receiver operator curve and 0.69 and 0.70 area under the precision-recall curve, respectively and outperformed existing deep learning models. Predictor groups included all community and hospital diagnoses and medications contextualised within the age and calendar year for each patient's clinical encounter. The importance of contextualised medical information was revealed in a number of sensitivity analyses, and our perturbation method provided a way of identifying factors contributing to risk. Many of the identified risk factors were consistent with existing knowledge from clinical and epidemiological research but several new associations were revealed which had not been considered in expert-driven risk prediction models.

연구 동기 및 목표

• 풍부한 전자건강기록(EHR) 데이터를 기반으로 딥러닝을 활용해 사건 심부전의 예측 정확도를 향상시키는 것.
• 임상 적용을 위해 높은 정확도를 갖추고 동시에 내재된 해석 가능성을 가진 모델을 개발하는 것.
• EHR 내의 문맥화된 의료 정보를 활용해 임상적으로 의미 있는 위험 요인—기존의 것과 새로운 것—을 식별하는 것.
• 의료 분야에서 블랙박스 딥러닝 모델의 한계를 극복하기 위해 펌프테이션 기반 설명 방법을 도입하는 것.
• 엄격한 교차검증과 보류된 테스트를 통해 내부 및 외부 데이터셋에서 모델의 성능을 검증하는 것.

제안 방법

• 종단적 EHR 데이터(진단, 약물, 연령, 캘린더 연도 포함)를 기반으로 트랜스포머 기반 딥러닝 아키텍처를 훈련한다.
• 모든 환자 데이터는 각 의료 이벤트의 시간적 및 인구통계적 문맥을 인코딩하는 문맥 기반 특징으로 임bedding된다.
• 입력 토큰을 체계적으로 변경하고 예측 변화를 측정함으로써 특징 중요도를 평가하기 위해 펌프테이션 기반 설명 방법을 적용한다.
• 모델은 시간순으로 배열된 임상 이벤트 간의 장거리 의존성을 포착하기 위해 다중 헤드 자기주의를 사용한다.
• 내부 및 외부 데이터셋에서의 성능을 확보하기 위해 5겹 교차검증과 보류된 외부 데이터셋을 사용하여 평가한다.
• 우수한 예측 성능을 입증하기 위해 기존의 딥러닝 기준 모델들과의 비교를 수행한다.

실험 결과

연구 질문

• RQ1 트랜스포머 기반 딥러닝 모델이 EHR 데이터를 활용해 기존 모델들보다 높은 예측 성능을 달성할 수 있는가?
• RQ2 의료 정보의 문맥화된 요소(예: 연령, 연도, 진단 순서 등)를 통합할 경우 예측 정확도가 얼마나 향상되는가?
• RQ3 펌프테이션 기반 방법을 통해 모델이 신뢰할 수 있고 인간이 이해할 수 있는 설명을 제공할 수 있는가?
• RQ4 기존 전문가 기반 위험 점수에 포함되지 않은 바이오마커가 아닌 새로운 심부정 위험 요인은 무엇인가?
• RQ5 외부 보류된 데이터셋에서 평가했을 때 모델의 성능은 다양한 환자 집단에 대해 얼마나 일반화 가능한가?

주요 결과

• 내부 5겹 교차검증에서 모델은 수신기 작동 특성 곡선 아래 면적(AUC-ROC)이 0.93이며, 외부 보류된 검증에서도 AUC-ROC가 0.93를 기록했다.
• 내부적으로는 정밀도-재현율 곡선 아래 면적(AUC-PR)이 0.69, 외부적으로는 0.70을 기록하여 불균형 데이터에서 강력한 성능을 보였다.
• 펌프테이션 기반 설명 방법은 임상적으로 관련성이 있는 위험 요인을 성공적으로 식별했으며, 기존에 알려진 요인과 이전에 인식되지 않았던 연관성까지 포함했다.
• 민감도 분석을 통해 연령과 캘린더 연도와 같은 문맥화된 의료 정보가 예측 정확도 향상에 중요한 역할을 한다는 점을 확인했다.
• 기존 전문가 기반 위험 예측 모델에서 고려되지 않은 바이오마커가 아닌 몇 가지 새로운 위험 연관성이 발견되었다.
• AUC-ROC 및 AUC-PR 지표에서 기존의 딥러닝 기준 모델들을 모두 능가하며, 뛰어난 예측 능력을 입증했다.