[논문 리뷰] SACDNet: Towards Early Type 2 Diabetes Prediction with Uncertainty for Electronic Health Records

Tayyab Nasir, Muhammad Kamran Malik|arXiv (Cornell University)|2023. 01. 12.

Artificial Intelligence in Healthcare인용 수 4

한 줄 요약

이 논문은 전자 건강 기록(EHR)에서 당뇨병 제2형 당뇨병(T2DM)을 예측하기 위해 다중 헤드 자기주의와 밀집층을 조합한 딥러닝 모델인 SACDNet을 제안한다. 이 모델은 89.3%의 정확도와 89.1%의 F1 스코어를 달성했으며, 불확실성 정량화를 위해 몬테 카를로 드롭아웃을 통합함으로써 신뢰도를 향상시켜 저신뢰도 예측을 경고할 수 있도록 했다. 또한, 강력한 평가와 공정성 분석을 지원하기 위해 실제 세계의 185,891명의 환자로 구성된 대규모이고 다양한 EHR 데이터셋을 제공한다.

ABSTRACT

Type 2 diabetes mellitus (T2DM) is one of the most common diseases and a leading cause of death. The problem of early diagnosis of T2DM is challenging and necessary to prevent serious complications. This study proposes a novel neural network architecture for early T2DM prediction using multi-headed self-attention and dense layers to extract features from historic diagnoses, patient vitals, and demographics. The proposed technique is called the Self-Attention for Comorbid Disease Net (SACDNet), achieving an accuracy of 89.3% and an F1-Score of 89.1%, having a 1.6% increased accuracy and 1.3% increased f1-score compared to the baseline techniques. Monte Carlo (MC) Dropout is applied to the SACDNet to get a bayesian approximation. A T2DM prediction framework based on the MC Dropout SACDNet is proposed to quantize the uncertainty associated with the predictions. A T2DM prediction dataset is also built as part of this study which is based on real-world routine Electronic Health Record (EHR) data comprising 4,124 diabetic and 181,767 non-diabetic examples, collected from 295 different EHR systems running in different parts of the United States of America. This dataset is further used to evaluate 7 different machine learning and 3 deep learning-based models. Finally, a detailed analysis of the fairness of every technique against different patient demographic groups is performed to validate the unbiased generalization of the techniques and the diversity of the data.

연구 동기 및 목표

• 실제 세계의 전자 건강 기록(EHR) 데이터를 사용하여 당뇨병 제2형 당뇨병(T2DM)의 조기 예측을 위한 딥러닝 모델을 개발한다.
• 작은 크기, 다양성 부족, 비정기적 기능 등의 기존 데이터셋의 한계를 해결하기 위해, 295개의 미국 EHR 시스템에서 유래한 대규모 실생활 EHR 기반 T2DM 데이터셋을 구축한다.
• 몬테 카를로 드롭아웃과 엔트로피 기반 신뢰도 스코어링을 통한 불확실성 추정을 통합하여 모델의 신뢰도를 향상시킨다.
• 연령, 성별, 인종 등의 인구 통계적 그룹 간의 공정성 평가를 통해 모델의 편향 없는 일반화 능력을 확보하고 데이터셋의 다양성을 검증한다.
• 기존 EHR 시스템에 통합 가능한 구현 가능한 프레임워크를 제공하여 조기 진단을 지원하고 과신된 잘못된 예측을 줄인다.

제안 방법

• SACDNet은 EHR 데이터의 이전 진단에서 상관관계 패턴을 추출하기 위해 다중 헤드 자기주의 기반 기법을 활용한다.
• 밀집 피드포워드 레이어는 환자의 생체 정보와 인구 통계적 특성을 처리하여 이러한 표본형 입력에서 비순차적 패턴을 포착한다.
• 자기주의 기반 특징과 밀집 특징을 공유된 완전 연결 레이어를 통해 융합하여 최종 T2DM 예측을 도출한다.
• 추론 과정에서 몬테 카를로 드롭아웃을 적용하여 베이지안 불확실성에 근접한 추정을 수행하고, 확률적 신뢰도 추정이 가능하도록 한다.
• 출력 확률의 엔트로피를 사용하여 불확실성을 정량화하고, 저신뢰도 예측을 불확실한 것으로 표시할 수 있도록 한다.
• 295개의 실생활 시스템에서 유래한 새로운 EHR 기반 T2DM 데이터셋을 구축하였으며, 이는 4,124건의 당뇨병 환자와 181,767건의 비당뇨병 환자로 구성되어 있으며, 임상적 관련성과 다양성을 확보하기 위해 철저한 전처리를 수행하였다.

Figure 1: Proposed framework for T2DM prediction with uncertainty.

실험 결과

연구 질문

• RQ1 다중 헤드 자기주의와 밀집층을 사용하는 딥러닝 모델이 실생활 EHR 데이터를 활용한 조기 T2DM 예측에서 기준 모델을 능가할 수 있는가?
• RQ2 SACDNet에 몬테 카를로 드롭아웃을 통합함으로써 불확실성 정량화를 통해 예측의 신뢰도가 얼마나 향상되는가?
• RQ3 제안된 모델은 다양한 인구 통계적 그룹(연령, 성별, 인종)에서 어떻게 성능을 보이며, 데이터셋은 공정한 일반화를 지원하는가?
• RQ4 제안된 프레임워크는 불확실한 경우에 높은 신뢰도의 예측을 피하고, 과신된 오류를 줄이는 데 효과적으로 기능하는가?
• RQ5 구축된 EHR 기반 데이터셋은 강력하고 편향 없는 모델 훈련 및 평가를 위한 충분한 규모와 다양성을 제공하는가?

주요 결과

• SACDNet은 89.3%의 정확도와 89.1%의 F1 스코어를 기록하여 기준 모델 대비 정확도 1.6%p, F1 스코어 1.3%p 향상되었다.
• MC-드롭아웃를 통합한 SACDNet(MC-SACDNet)은 잘못 분류된 예측에 더 높은 엔트로피를 할당함으로써 더 많은 잘못된 예측을 불확실한 것으로 식별하여 신뢰도를 향상시켰다.
• 모델은 모든 인종 및 성별 그룹에서 일관된 성능을 보였으며, 평가 지표에서 유의미한 편향은 관찰되지 않았다.
• 어린이 및 유아 그룹에서의 성능 저하는 오직 비당뇨병 환자 데이터 부족 때문이었으며, 이는 모델 편향 때문이 아니었고, 이들 그룹의 정확도는 여전히 높았다.
• 불확실성 분석 결과, MC-SACDNet이 표준 SACDNet보다 잘못 분류된 예측에 유의미하게 더 높은 엔트로피를 할당하여 과신된 오류를 감소시켰다.
• 295개의 실생활 시스템에서 유래한 185,891명의 환자로 구성된 제안된 EHR 기반 데이터셋은 다양한, 대표적인, 일반화 가능한 모델 훈련과 평가를 지원한다.

Figure 2: Results of 5 folds cross-validation.