[논문 리뷰] The Brier Score under Administrative Censoring: Problems and Solutions

Håvard Kvamme, Ørnulf Borgan|arXiv (Cornell University)|2019. 12. 18.

Statistical Methods and Inference참고 문헌 19인용 수 4

한 줄 요약

이 논문은 행정적 케서링(setting에서 케서링 시간이 알려진 경우)에서 역확률 가중치를 사용한 Brier 점수( IPCW Brier score)에 심각한 결함이 있음을 밝혀내며, 케서링 시간이 예측 가능할 경우 편향이 발생하고 오해의 소지가 있음을 보여준다. 이를 해결하기 위해 저자는 행정적 Brier 점수를 제안하며, 이는 케서링 분포 추정을 피하고, 행정적 케서닝 하에서 유효하며, 특히 고객 이탈 예측과 같은 머신러닝 응용 분야에서 생존 모델의 신뢰할 수 있는 성능 평가를 가능하게 한다.

ABSTRACT

The Brier score is commonly used for evaluating probability predictions. In survival analysis, with right-censored observations of the event times, this score can be weighted by the inverse probability of censoring (IPCW) to retain its original interpretation. It is common practice to estimate the censoring distribution with the Kaplan-Meier estimator, even though it assumes that the censoring distribution is independent of the covariates. This paper discusses the general impact of the censoring estimates on the Brier score and shows that the estimation of the censoring distribution can be problematic. In particular, when the censoring times can be identified from the covariates, the IPCW score is no longer valid. For administratively censored data, where the potential censoring times are known for all individuals, we propose an alternative version of the Brier score. This administrative Brier score does not require estimation of the censoring distribution and is valid even if the censoring times can be identified from the covariates.

연구 동기 및 목표

• 행정적 케서닝 설정에서 케서링 시간이 예측 가능할 경우, IPCW Brier 점수의 편향을 특정하고 진단하는 것.
• 머신러닝에서 흔히 사용되는 이진 분류기(binary classifiers)가 이 편향으로 인해 예측 정확도가 열등함에도 불구하고 IPCW Brier 점수에서 잘못된 정도로 좋은 성능을 내는 이유를 설명하는 것.
• 케서링 분포 추정에 의존하지 않으며, 행정적 케서닝 하에서도 유효한 새로운 평가 지표를 개발하는 것.
• 특히 신경망 및 머신러닝 방법에 적용되는 시간-이벤트 예측 평가를 위해 IPCW 기반 지표의 강력하고 실용적인 대안을 제공하는 것.

제안 방법

• 알려진 케서링 시간 $C^*_i$ 를 직접 사용하고 케서링 분포 추정을 피하는 비-IPCW 대안으로 행정적 Brier 점수를 제안한다.
• 행정적 Brier 점수를 예측 생존 확률과 관측된 사건 지표 간의 평균 제곱오차로 정의하며, 알려진 행정적 케서링 시간에 의해만 조정한다.
• 케서링 시간 $C^*_i > t$ 인 경우 행정적 Brier 점수의 최소화자(minimizer)가 진짜 생존 함수 $S_i(t)$ 와 일치하고, 그 외의 경우 0이 되며, 이는 공변수 기반 케서닝 하에서도 유효함을 보장한다.
• 이중 분류기(BCE 방법)가 케서닝된 데이터에서 학습될 경우, 행정적 케서닝 하에서 IPCW Brier 점수와 동치인 손실 함수의 최소화자를 추정함을 보여주며, 이는 편향의 원인을 설명한다.
• 다양한 케서닝 예측 가능성 조건에서 시뮬레이션과 실세계 KKBox 이탈 데이터셋을 사용하여 IPCW Brier 점수와 제안된 행정적 Brier 점수를 비교한다.
• 행정적 Brier 점수와 비-IPCW 손실 함수의 최소화자 간 이론적 및 실증적 동치성을 입증함으로써, 그 유효성과 강건성을 증명한다.

실험 결과

연구 질문

• RQ1 행정적 케서닝 설정에서 케서링 시간 $C^*_i$ 가 공변수로부터 예측 가능할 경우, IPCW Brier 점수는 편향을 유발하는가?
• RQ2 이중 분류기들이 예측 정확도가 열등함에도 불구하고 IPCW Brier 점수 평가에서 뛰어난 성능을 내는 이유는 무엇인가?
• RQ3 케서링 분포 추정을 피하고 행정적 케서닝 하에서도 유효한 Brier 점수 변형을 구성할 수 있는가?
• RQ4 알려진 케서닝 시간이 있는 시뮬레이션과 실세계 데이터에서 행정적 Brier 점수의 성능은 IPCW Brier 점수와 어떻게 비교되는가?

주요 결과

• 케서링 시간 $C^*_i$ 가 공변수로부터 예측 가능할 경우 IPCW Brier 점수는 편향을 띠며, 이로 인해 이중 분류기가 잘못된 정도로 유리한 점수를 얻게 된다.
• 케서닝된 데이터에서 학습된 이중 분류기(BCE 방법)는 행정적 케서닝 하에서 IPCW Brier 점수와 동치인 손실 함수의 최소화자를 추정하며, 이는 이들의 이론적 성능 향상의 원인을 설명한다.
• 제안된 행정적 Brier 점수는 케서링 분포 추정이 필요 없으며, 케서링 시간이 공변수로부터 완전히 예측 가능할 경우에도 유효하다.
• 시뮬레이션과 실세계 데이터(KKBox 이탈 데이터셋)에서, 행정적 Brier 점수는 공변수 기반 케서닝 하에서 열등한 생존 모델을 올바르게 식별하는 데 성공하지만, IPCW Brier 점수는 이를 실패한다.
• 행정적 Brier 점수는 비-IPCW 손실 함수의 최소화자로서 이론적으로 탄탄하며, 편향 없이 진짜 생존 확률을 추정함을 보장한다.
• 머신러닝 응용 분야에서 행정적 케서닝이 발생할 경우, IPCW 기반 지표보다 더 간단하고 신뢰할 수 있는 성능 평가 방법이다.