[논문 리뷰] Interpretation of machine learning predictions for patient outcomes in electronic health records

William La Cava, Christopher R. Bauer외 2명|PubMed|2019. 03. 14.

Machine Learning in Healthcare참고 문헌 22인용 수 34

한 줄 요약

논문은 EHR에서 7개의 환자 진단을 예측하기 위한 세 가지 최첨단 ML 방법을 비교하고, 다양한 특징 중요도 지표를 평가한다. 예측이 강력할 때 permutation importance가 임상 해석과 가장 잘 일치하는 것으로 나타났다.

ABSTRACT

Electronic health records are an increasingly important resource for understanding the interactions between patient health, environment, and clinical decisions. In this paper we report an empirical study of predictive modeling of seven patient outcomes using three state-of-the-art machine learning methods. Our primary goal is to validate the models by interpreting the importance of predictors in the final models. Central to interpretation is the use of feature importance scores, which vary depending on the underlying methodology. In order to assess feature importance, we compared univariate statistical tests, information-theoretic measures, permutation testing, and normalized coefficients from multivariate logistic regression models. In general we found poor correlation between methods in their assessment of feature importance, even when their performance is comparable and relatively good. However, permutation tests applied to random forest and gradient boosting models showed the most agreement, and the importance scores matched the clinical interpretation most frequently.

연구 동기 및 목표

• EHR 데이터로 다중 환자 결과에 대한 세 가지 ML 방법(LR, RF, XGBoost)의 예측 성능을 평가한다.
• 모델별 및 모델 비의존적 특징 중요도 지표를 비교하여 예측 변수 해석을 수행한다.
• 7개 질환 및 예측 시점 간 중요도 점수의 상관관계 및 해석 가능성을 평가한다.

제안 방법

• 공통적이면서 희귀한 실험실 측정값과 인구통계 정보를 예측 변수로 가진 1996-2015년 Geisinger Health Records 데이터셋(대상자 899,128명)을 사용한다.
• 진단 이전 1일, 6개월, 1년의 예측 시점을 이용해 세 가지 결과를 예측한다.
• 페널티가 있는 로지스틱 회귀, 랜덤 포레스트, XGBoost를 학습시키고, 하이퍼파라미터를 10-겹 교차검증으로 튜닝; AUROC로 평가한다.
• 테스트 데이터에서 내부 특징 중요도(계수, Gini 등)와 permutation 중요도를 계산한다.
• 특징 중요도 지표 간의 상관관계와 해석 가능성을 7개 질환에 걸쳐 평가한다.
• 재현성을 위해 http://github.com/EpistasisLab/interpret_ehr 에 코드 제공한다.

실험 결과

연구 질문

• RQ1 세 가지 ML 방법(LR, RF, XGBoost)이 EHR 데이터에서 7개 환자 진단을 서로 다른 예측 시점에서 얼마나 잘 예측하는가?
• RQ2 모델별 및 모델 비의존적 특징 중요도 지표가 임상적으로 의미 있는 예측 변수를 식별하는 데 어떻게 비교되는가?
• RQ3 중요도 지표가 모델과 질환 간에 어느 정도 일치하며, 어떤 지표가 임상 이해와 가장 잘 부합하는가?

주요 결과

• XGBoost가 일반적으로 가장 우수한 예측 성능을 보이고, 그다음으로 Random Forest가 근접하게 뒤따른다; Penalized Logistic Regression은 특히 알츠하이머병 및 식도 역류에 대해 약하다.
• RF와 XGBoost의 permutation 중요도 점수는 임상 해석과 긴밀하게 일치하며 모델 간( RF permutation 대 XGBoost permutation)으로 높은 상관관계를 보인다.
• XGBoost의 Gini 중요도는 기대되는 중요한 예측변수와 잘 일치하지 않으나 permutation 중요도는 더 직관적인 결과를 제공한다.
• 질환 간 RF permutation과 XGBoost permutation 점수는 높은 상관관계(R Pearson = 0.95)이다.
• 단변량 중요도는 다른 측정치와의 상관관계가 가장 낮아 중요한 요인을 결정하는 데 단독으로는 불충분하다.
• 한 해 horizon에서 여러 질환의 AUROC가 높게 나타나며(예: 당뇨병과 신장 징후 0.96), 예측 능력은 일반적으로 더 긴 horizon에서 감소한다.