[논문 리뷰] Stability of clinical prediction models developed using statistical or machine learning methods

Richard D Riley, Gary S. Collins|arXiv (Cornell University)|2022. 11. 02.

Machine Learning in Healthcare참고 문헌 48인용 수 8

한 줄 요약

이 논문은 부트스트랩 표본에 대해 모델 개발을 반복적으로 적용하여 임상 설정에서 예측 모델의 불안정성을 평가하는 프레임워크를 제안한다. 불안정성 플롯, 校정 불안정성 곡선, 불안정성 지수를 사용한다. 작은 데이터셋은 높은 불안정성과 校정 오차를 초래함을 보여주며, 연구자들이 검증이나 배포 이전에 신뢰성을 평가할 것을 당부한다.

ABSTRACT

Clinical prediction models estimate an individual's risk of a particular health outcome, conditional on their values of multiple predictors. A developed model is a consequence of the development dataset and the chosen model building strategy, including the sample size, number of predictors and analysis method (e.g., regression or machine learning). Here, we raise the concern that many models are developed using small datasets that lead to instability in the model and its predictions (estimated risks). We define four levels of model stability in estimated risks moving from the overall mean to the individual level. Then, through simulation and case studies of statistical and machine learning approaches, we show instability in a model's estimated risks is often considerable, and ultimately manifests itself as miscalibration of predictions in new data. Therefore, we recommend researchers should always examine instability at the model development stage and propose instability plots and measures to do so. This entails repeating the model building steps (those used in the development of the original prediction model) in each of multiple (e.g., 1000) bootstrap samples, to produce multiple bootstrap models, and then deriving (i) a prediction instability plot of bootstrap model predictions (y-axis) versus original model predictions (x-axis), (ii) a calibration instability plot showing calibration curves for the bootstrap models in the original sample; and (iii) the instability index, which is the mean absolute difference between individuals' original and bootstrap model predictions. A case study is used to illustrate how these instability assessments help reassure (or not) whether model predictions are likely to be reliable (or not), whilst also informing a model's critical appraisal (risk of bias rating), fairness assessment and further validation requirements.

연구 동기 및 목표

• 작은 데이터셋에서 개발된 임상 모델의 예측 불안정성 위험을 해결하기 위해.
• 모델 불안정성이 새로운 데이터에서 종종 校정 오차를 초래함을 특정하기 위해.
• 모델 개발 중 불안정성 평가를 위한 체계적 방법을 제안하기 위해.
• 불안정성 지표를 통해 모델 평가, 공정성 평가 및 검증 계획 수립을 향상시키기 위해.

제안 방법

• 원본 모델 예측과 부트스트랩 모델 예측을 비교하는 예측 불안정성 플롯을 생성하기 위해 1000개의 부트스트랩 표본에서 모델 개발을 반복한다.
• 원본 데이터셋 내의 부트스트랩 모델들에 대한 校정 곡선을 보여주는 校정 불안정성 플롯을 생성한다.
• 각 개인의 원본 예측과 부트스트랩 예측 간 평균 절대 차이로 불안정성 지수를 계산한다.
• 이 도구들을 사용하여 모델 개발 중 안정성, 편향, 공정성 평가를 수행한다.
• 모의 실험과 실제 사례 연구에 프레임워크를 적용하여 유용성을 입증한다.

실험 결과

연구 질문

• RQ1 임상 예측 모델에서 다양한 표본 크기와 예측 변수 수에 따라 모델 불안정성은 어떻게 변화하는가?
• RQ2 작은 데이터셋에서 모델을 개발할 경우 불안정성이 새로운 데이터에서 얼마나 심각한 校정 오차를 초래하는가?
• RQ3 불안정성 플롯과 불안정성 지수는 외부 검증 이전에 신뢰할 수 없는 예측을 신뢰성 있게 탐지할 수 있는가?
• RQ4 작은 표본 조건에서 통계적 방법과 기계학습 방법 간의 불안정성에 대한 취약도는 어떻게 다를까?
• RQ5 불안정성 평가는 모델 개발 중 위험 요소 평가 및 공정성 평가를 향상시킬 수 있는가?

주요 결과

• 작은 데이터셋에서는 표준 통계적 또는 기계학습 방법을 사용하더라도 모델 불안정성이 심각하게 나타난다.
• 불안정성은 항상 새로운 데이터에서의 校정 오차를 초래하며, 이는 모델의 신뢰성에 악영향을 미친다.
• 불안정성 지수는 부트스트랩 표본 간 개인 수준의 예측 변동성을 효과적으로 정량화한다.
• 예측 불안정성 플롯은 원본 예측과 부트스트랩 예측 간 완벽한 일치에서의 체계적 이탈을 드러낸다.
• 교정 불안정성 플롯은 특히 작은 표본에서 부트스트랩 모델들 간의 낮은 교정 성능을 강조한다.
• 제안된 프레임워크는 불안정한 모델을 식별함으로써 모델 평가를 향상시키며, 추가 검증이나 개선이 필요한 모델을 특정한다.