[논문 리뷰] Mind the Performance Gap: Examining Dataset Shift During Prospective Validation

Erkin Ötleş, Jeeheh Oh외 9명|arXiv (Cornell University)|2021. 07. 23.

Machine Learning in Healthcare참고 문헌 26인용 수 9

한 줄 요약

이 연구는 의료 관련 감염 예측을 위한 기계학습 모델의 후향적 및 전향적 검증 간 성능 격차를 조사하며, 데이터 추출 및 전처리 파이프라인의 차이—즉, 인프라 변화—가 성능 저하의 주요 원인임을 밝혀냈다. 임상 환자 집단이나 임상 워크플로우의 시간적 변화보다는 인프라 변화가 성능 저하를 이끌었다. 모델의 AUROC는 후향적 검증 시 0.778에서 전향적 검증 시 0.767로 하락했으며, 이 격차의 대부분은 임상 변화가 아닌 데이터 파이프라인의 일관성 부족 때문이었다.

ABSTRACT

Once integrated into clinical care, patient risk stratification models may perform worse compared to their retrospective performance. To date, it is widely accepted that performance will degrade over time due to changes in care processes and patient populations. However, the extent to which this occurs is poorly understood, in part because few researchers report prospective validation performance. In this study, we compare the 2020-2021 ('20-'21) prospective performance of a patient risk stratification model for predicting healthcare-associated infections to a 2019-2020 ('19-'20) retrospective validation of the same model. We define the difference in retrospective and prospective performance as the performance gap. We estimate how i) "temporal shift", i.e., changes in clinical workflows and patient populations, and ii) "infrastructure shift", i.e., changes in access, extraction and transformation of data, both contribute to the performance gap. Applied prospectively to 26,864 hospital encounters during a twelve-month period from July 2020 to June 2021, the model achieved an area under the receiver operating characteristic curve (AUROC) of 0.767 (95% confidence interval (CI): 0.737, 0.801) and a Brier score of 0.189 (95% CI: 0.186, 0.191). Prospective performance decreased slightly compared to '19-'20 retrospective performance, in which the model achieved an AUROC of 0.778 (95% CI: 0.744, 0.815) and a Brier score of 0.163 (95% CI: 0.161, 0.165). The resulting performance gap was primarily due to infrastructure shift and not temporal shift. So long as we continue to develop and validate models using data stored in large research data warehouses, we must consider differences in how and when data are accessed, measure how these differences may affect prospective performance, and work to mitigate those differences.

연구 동기 및 목표

• 임상 환경에서 후향적 검증에서 전향적 검증으로 전환할 때 기계학습 모델의 성능 저하 원인을 조사하기 위해.
• 환자 집단 및 임상 워크플로우의 시간적 변화와 데이터 접근, 추출, 변환 파이프라인의 차이—즉, 인프라 변화—의 영향을 구분하기 위해.
• 실제 환자 위험 분류 모델에서 인프라 변화와 시간적 변화 유형이 성능 격차에 기여하는 정도를 정량화하기 위해.
• 실시간 임상 구현에서의 데이터 접근 방식을 반영하는 더 대표성 있는 후향적 데이터 파이프라인의 필요성을 강조하기 위해.
• 모델의 임상 구현 전 성능 평가를 위해 전향적 검증이 필수적인 단계임을 주장하기 위해.

제안 방법

• 저자들은 단일 학술 의료기관의 26,864건의 병원 내 병행 기록을 대상으로 2019–2020년 후향적 성능와 2020–2021년 전향적 성능를 비교하였다.
• 성능 격차를 후향적 및 전향적 검증 간 AUROC와 브리어 스코어의 차이로 정의하였다.
• 성능 격차를 두 가지 구성요소로 분해하였다: 시간적 변화(임상 워크플로우 및 환자 집단 변화)와 인프라 변화(데이터 파이프라인 접근 및 전처리의 차이).
• 통계적 추론을 사용하여 시간에 따른 성능 차이를 평가하였으며, 월별 비교 및 데이터 가용성과 안정성의 특성 수준 분석을 포함하였다.
• 두 기간 간 특성 분포의 변화(예: 위치, 입원 유형, 약물 처방)를 분석하여 인프라 변화와 시간적 변화의 영향을 평가하였다.
• 95% 신뢰구간을 포함하여 AUROC와 브리어 스코어를 사용해 모델의 캘리브레이션 및 분류 성능을 평가하였다.

실험 결과

연구 질문

• RQ1 임상 위험 예측 모델의 후향적 검증과 전향적 검증 간 성능 격차의 크기는 얼마인가?
• RQ2 성능 격차는 환자 집단 및 임상 워크플로우의 시간적 변화와 비교해 볼 때, 데이터 접근 및 전처리의 차이—즉, 인프라 변화—로 인해 얼마나 영향을 받는가?
• RQ3 시간에 따라 데이터 가용성과 특성 안정성의 변화가 실생활 구현에서 모델 성능에 어떤 영향을 미치는가?
• RQ4 팬데믹 기간 동안 임상적 또는 운영적 변화로 인해 모델의 분류 성능이 시간이 지남에 따라 악화되는가?
• RQ5 전향적 검증은 후향적 평가에서 포착되지 않은 성능 저하 원인을 식별하고 정량화하는 데 도움이 되는가?

주요 결과

• 후향적 검증(2019–2020)에서 모델의 AUROC는 0.778(95% CI: 0.744–0.815)에서 전향적 검증(2020–2021)에서 0.767(95% CI: 0.737–0.801)로 감소하여 명백한 성능 격차가 있음을 나타냈다.
• 성능 격차는 환자 집단이나 임상 워크플로우의 시간적 변화보다는 데이터 추출 및 전처리 파이프라인의 차이—즉, 인프라 변화—로 인해 주로 발생하였다.
• 시간적 변화, 특히 코로나19 팬데믹으로 인한 변화(예: 신규 환자 병동, 환자 수 변화)는 분류 성능을 악화시키지 않았고, 일부 월(예: 2020년 3월)에서는 오히려 약간 향상된 성능를 보였다.
• 캘리브레이션 성능는 시간적 변화로 악화되었으며, 이는 분류 성능는 유지되었지만 확률 추정의 신뢰성이 떨어졌음을 시사한다.
• 약물 투여 데이터는 생체 징후보다 시간에 따라 더 안정적이었으며, 후향적 데이터에서 생체 징후는 자주 뒤로 수정되어 파이프라인 특유의 일관성 부족을 드러냈다.
• 이 연구는 후향적 데이터 웨어하우스가 실시간 데이터 가용성을 정확히 반영하지 못해 모델 개발 시 과도하게 낙관적인 성능 추정을 초래할 수 있음을 강조한다.