[논문 리뷰] An Effective Meaningful Way to Evaluate Survival Models

Shi-ang Qi, Neeraj Kumar외 6명|arXiv (Cornell University)|2023. 06. 01.

Statistical Methods and Inference인용 수 4

한 줄 요약

이 논문은 오차가 관찰되지 않은 우측절단 데이터를 다룰 수 있도록 의사관측값(pseudo-observations)을 사용하는 새로운 평가 지표인 MAE-PO를 제안한다. 이는 기존의 MAE 변종 대비 순위 정렬 성능과 진짜 평균 절대오차(MAE)에 가까운 정도에서 모두 뛰어난 성능을 보인다. 이 방법은 카프칸-마이어(Kaplan-Meier) 생존 확률 기반 의사관측값을 추정하고, 가중치를 적용한 신뢰도 체계를 도입하여 다양한 절단 메커니즘을 가진 반합성 데이터셋에서 뛰어난 정확도를 입증한다.

ABSTRACT

One straightforward metric to evaluate a survival prediction model is based on the Mean Absolute Error (MAE) -- the average of the absolute difference between the time predicted by the model and the true event time, over all subjects. Unfortunately, this is challenging because, in practice, the test set includes (right) censored individuals, meaning we do not know when a censored individual actually experienced the event. In this paper, we explore various metrics to estimate MAE for survival datasets that include (many) censored individuals. Moreover, we introduce a novel and effective approach for generating realistic semi-synthetic survival datasets to facilitate the evaluation of metrics. Our findings, based on the analysis of the semi-synthetic datasets, reveal that our proposed metric (MAE using pseudo-observations) is able to rank models accurately based on their performance, and often closely matches the true MAE -- in particular, is better than several alternative methods.

연구 동기 및 목표

• 시험 세트에 우측절단된 개체가 포함된 상황에서 진짜 사건 시간이 알려져 있지 않을 때 생존 모델 평가의 과제를 해결하기 위해.
• 생존 예측에서 절단된 관측치를 고려한 의미 있고 정확한 평균 절대오차(MAE) 지표를 개발하기 위해.
• 진짜 사건 시간이 알려진 반합성 생존 데이터셋을 생성하여 평가 지표의 편향 없는 평가를 가능하게 하기 위해.
• 여러 MAE 유사 지표를 비교하고, 모델 순위 매기기와 오차 추정에 가장 신뢰할 수 있는 추정량을 식별하기 위해.
• MAE-PO 및 관련 지표를 위한 재현 가능한 코드베이스를 제공하여 향후 연구를 지원하기 위해.

제안 방법

• 절단된 개체가 포함된 집단 수준의 카프칸-마이어 추정량에 기여도를 추정하기 위해 의사관측값을 사용하는 MAE-PO를 제안한다.
• 각 의사관측값의 신뢰도를 표현하기 위해 가중치 체계를 적용하여 절단에 대한 강건성을 향상시킨다.
• 안드레센 등(2003)이 제안한 의사관측값 탈절단 기법을 활용하여 절단된 생존 데이터를 오차 계산에 사용 가능한 점 추정치로 변환한다.
• 실제 세계 데이터의 구조를 유지하면서 현실적인 특성 및 절단 분포를 시뮬레이션하여 반합성 생존 데이터셋을 생성한다.
• 이 반합성 데이터셋의 진짜 사건 시간을 사용해 진짜 MAE를 계산하여 평가 지표의 벤치마킹을 가능하게 한다.
• 여러 데이터셋과 절단 메커니즘에서 여섯 가지 MAE 변종(MAE-uncensored, MAE-margin, MAE-PO, IPCW-D, IPCW-T, MAE-Pop-PO)을 비교한다.

실험 결과

연구 질문

• RQ1 절단된 데이터가 존재할 때 다양한 MAE 유사 지표가 생존 모델 순위 매기기에 얼마나 잘 작동하는가?
• RQ2 절단된 관측치가 존재할 때 어떤 지표가 진짜 MAE에 가장 가까이 가까이 근접하는가?
• RQ3 의사관측값 기반 접근법(MAE-PO)이 기존 대안들보다 더 정확하고 신뢰할 수 있는 평가를 제공할 수 있는가?
• RQ4 다양한 절단 분포(예: 지수분포, 특성에 독립적인, 특성에 의존적인)에서 평가 지표의 성능은 어떻게 달라지는가?
• RQ5 제안된 반합성 데이터셋 생성 방법이 생존 모델 평가 지표의 유효성 있고 재현 가능한 평가를 얼마나 잘 가능하게 하는가?

주요 결과

• MAE-PO는 모든 데이터셋과 절단 메커니즘에서 모델 순위를 가장 정확하게 매겼으며, 유일한 예외를 제외하고는 항상 상위 3개 모델을 정확히 식별했다.
• MAE-PO는 진짜 MAE에 가장 가까이 가까이 있으며, METABRIC 및 MIMIC-A 데이터셋에서 기존 대안들보다 유의미하게 더 작은 오차를 기록했다(p < 0.05).
• MAE-uncensored는 고도의 절단 상황에서 성능이 열등하지만, MAE-PO는 고도의 절단 조건에서도 강력한 성능을 유지한다.
• MAE-margin은 일부 설정에서는 잘 작동하지만, MIMIC-H에서는 상위 모델을 식별하지 못하는 반면, MAE-PO는 GBM-C를 최상위 성능 모델로 정확히 식별했다.
• MAE-IPCW-D는 후행 시점의 비절단 개체에 민감하여 진짜 MAE에 가까이 오차의 변동성이 크며, 이로 인해 신뢰성이 떨어진다.
• MAE-Pop-PO는 순위 매기기나 오차 근사에서 특별한 이점이 없었으며, MAE-margin 및 MAE-PO보다 성능이 열 劣하다.