[논문 리뷰] Missing Values and Imputation in Healthcare Data: Can Interpretable Machine Learning Help?

Zhi Chen, Sarah Tan외 3명|arXiv (Cornell University)|2023. 04. 23.

Machine Learning in Healthcare인용 수 5

한 줄 요약

이 논문은 해석 가능한 기계학습, 특히 설명 가능한 부스팅 머신(EBM)을 사용하여 의료 데이터에서의 누락 원인을 진단하고 유해한 보정을 탐지하는 것을 제안한다. 형태 함수와 특성 간 상호작용을 분석함으로써 EBM는 MissForest 및 KNN과 같은 고급 보정 방법이 중요한 값(예: P/F 비율)을 체계적으로 과소평가하고 있음을 드러내며, 이는 환자의 위험도를 위험하게 낮추는 결과를 초래한다. 이러한 문제는 검정 상자 모델에서는 감지되지 않지만, 해석 가능성 덕분에 탐지 가능하다.

ABSTRACT

Missing values are a fundamental problem in data science. Many datasets have missing values that must be properly handled because the way missing values are treated can have large impact on the resulting machine learning model. In medical applications, the consequences may affect healthcare decisions. There are many methods in the literature for dealing with missing values, including state-of-the-art methods which often depend on black-box models for imputation. In this work, we show how recent advances in interpretable machine learning provide a new perspective for understanding and tackling the missing value problem. We propose methods based on high-accuracy glass-box Explainable Boosting Machines (EBMs) that can help users (1) gain new insights on missingness mechanisms and better understand the causes of missingness, and (2) detect -- or even alleviate -- potential risks introduced by imputation algorithms. Experiments on real-world medical datasets illustrate the effectiveness of the proposed methods.

연구 동기 및 목표

• 의료 데이터에서의 누락 값 문제에 대처하기 위해, 잘못된 처리가 생명을 바꿀 수 있는 임상적 결정을 초래할 수 있음을 고려한다.
• 해석 가능한 기계학습이 일반적인 보정 기법에 숨겨진 편향과 결함을 어떻게 드러낼 수 있는지 조사한다.
• 특히 고위험 의료 응용 분야에서 보정이 체계적인 오류를 유발할 경우 이를 탐지할 수 있는 방법을 개발한다.
• 임상의사와 데이터 과학자들이 값이 왜 누락되었는지, 그리고 보정이 모델 행동에 어떻게 영향을 미치는지 이해할 수 있도록 도구를 제공한다.
• EBM 기반의 해석 가능성은 표준 모델이 간과하는 보정 데이터의 이질성을 드러낼 수 있음을 입증한다.

제안 방법

• 누락의 패턴을 탐지하기 위해 특성 분포를 분석하기 위해 유리상자 모델이자 고정확도를 자랑하는 설명 가능한 부스팅 머신(EBM)을 사용한다.
• EBM의 형태 함수를 적용하여 보정된 값이 특성 범위 전반에서 모델 예측에 어떻게 영향을 주는지 시각화한다.
• 관측된 분포와 보정된 분포를 비교하여 누락이 완전히 무작위(MCAR)인지 EBM 기반 통계적 검증을 통해 테스트한다.
• 다른 특성에서 누락 여부를 예측하기 위한 모델을 구축하며, EBM의 해석 가능성 기능을 활용해 변수 간 누락과의 관계를 드러낸다.
• 형태 함수의 이질성, 예를 들어 뾰족하거나 직관에 어긋나는 패턴을 통해 잠재적으로 해로운 보정 행동을 경고한다.
• 실제 의료 데이터셋을 대상으로 평균 보정, MissForest, KNN 등의 다양한 보정 방법을 비교하고, EBM 진단을 통해 그 영향을 평가한다.

Figure 1 : EBM shape function and density plot for P/F ratio when predicting ICU mortality.

실험 결과

연구 질문

• RQ1 해석 가능한 기계학습은 의료 데이터셋에서의 누락 원인을 밝혀내는 데 도움이 될 수 있는가?
• RQ2 MissForest 및 KNN과 같은 고급 보정 방법이 임상 모델 성능을 저해하는 체계적인 편향을 유발하는가?
• RQ3 EBM 형태 함수는 검정 상자 모델이 감지하지 못하는 해로운 보정 패턴을 탐지할 수 있는가?
• RQ4 해석 가능성 도구는 보정의 위험을 모델 배포 이전에 임상의사와 데이터 과학자가 평가하는 데 어떻게 기여하는가?
• RQ5 EBM 기반 진단은 특히 P/F 비율과 같은 중요한 변수에서 환자의 위험도를 과소평가하는 보정이 발생할 경우 이를 드러낼 수 있는가?

주요 결과

• MissForest 및 KNN 보정은 기대보다 낮은 P/F 비율 값을 체계적으로 보정하여, 기존에 낮은 P/F 비율을 가진 환자에서 위험도가 과소 평가됨을 시사한다.
• EBM 형태 함수는 고급 보정을 사용할 경우 예측에 뾰족하고 부드럽지 않은 패턴을 드러내어 불안정하고 잠재적으로 해로운 모델 행동임을 나타낸다.
• 평균 보정은 더 단순하지만, MissForest 및 KNN와 비교해 더 광범위한 왜곡을 일으키지는 않으며, P/F 비율이 0에서 800 사이인 더 넓은 환자 집단에 영향을 미친다.
• EBM 기반 진단은 누락된 P/F 비율이 임상적으로 정상으로 간주되는 것(즉, 약 1000에 가까운 값) 때문일 가능성이 높다는 것을 성공적으로 탐지했으며, 이는 표준 분석으로서는 드러나지 않는 패턴이다.
• 이 방법은 보정이 모델 예측에 局소적 변동을 유도할 수 있음을 특정적으로 밝혀냈으며, 이는 작은 오류가 큰 결과를 초래할 수 있는 임상 환경에서 특히 위험할 수 있다.
• 모델 편집 도구가 해로운 보정 영향을 최소한의 정확도 손실로 보정하는 데 효과적임을 입증하여, 해석 가능한 모델의 실용적 유용성을 강조한다.

Figure 2 : Example of using EBM shape function to test for MCAR. Missing coded as -5. $p$ -value for testing MCAR is less than 0.05.