[논문 리뷰] Empirical Risk Minimization under Random Censorship: Theory and Practice

Guillaume Ausset, Stéphan Clémençon외 1명|arXiv (Cornell University)|2019. 06. 05.

Statistical Methods and Inference참고 문헌 43인용 수 4

한 줄 요약

이 논문은 랜덤 우측절단 하에서의 경험 위험에 대한 카플란-마이어 기반 플러그인 추정기법을 제안하며, 절단된 생존 데이터에서의 경험 위험 최소화를 가능하게 한다. 온건한 조건 하에서 이 편향/가중 경험 위험 기능의 최소화자들의 학습률은 $ O_{\mathbb{P}}(\sqrt{\log n / n}) $ 의 최적 속도를 달성하며, 플러그인 추정의 모델 편향을 무시할 경우 비절단된 경우와 동일한 성능을 보인다.

ABSTRACT

We consider the classic supervised learning problem, where a continuous non-negative random label $Y$ (i.e. a random duration) is to be predicted based upon observing a random vector $X$ valued in $\mathbb{R}^d$ with $d\geq 1$ by means of a regression rule with minimum least square error. In various applications, ranging from industrial quality control to public health through credit risk analysis for instance, training observations can be right censored, meaning that, rather than on independent copies of $(X,Y)$, statistical learning relies on a collection of $n\geq 1$ independent realizations of the triplet $(X, \; \min\{Y,\; C\},\; δ)$, where $C$ is a nonnegative r.v. with unknown distribution, modeling censorship and $δ=\mathbb{I}\{Y\leq C\}$ indicates whether the duration is right censored or not. As ignoring censorship in the risk computation may clearly lead to a severe underestimation of the target duration and jeopardize prediction, we propose to consider a plug-in estimate of the true risk based on a Kaplan-Meier estimator of the conditional survival function of the censorship $C$ given $X$, referred to as Kaplan-Meier risk, in order to perform empirical risk minimization. It is established, under mild conditions, that the learning rate of minimizers of this biased/weighted empirical risk functional is of order $O_{\mathbb{P}}(\sqrt{\log(n)/n})$ when ignoring model bias issues inherent to plug-in estimation, as can be attained in absence of censorship. Beyond theoretical results, numerical experiments are presented in order to illustrate the relevance of the approach developed.

연구 동기 및 목표

• 학습 데이터가 랜덤 우측절단에 의해 영향을 받을 때, 진짜 레이블 $ Y $ 가 랜덤 절단 시간 $ C $ 를 초과하여 관측되지 않는 회귀 문제에서 경험 위험 최소화의 과제를 해결하기 위해.
• 입력 변수 $ X $ 에 조건부로 조건부 생존 함수의 카플란-마이어 추정기법을 통해 절단을 고려한 이론적으로 타당한 플러그인 기반 진짜 위험 추정기법을 개발하기 위해.
• 결과적으로 유의미한 가중 경험 위험 기능에 대해 비점근적 일반화 경계를 확립하여, 절단 조건 하에서도 최적에 가까운 학습률을 확보하기 위해.
• 다양한 차원과 절단 비율에서 다양한 학습 모델(선형 회귀, SVR, 랜덤 포레스트)을 대상으로 방법의 실증적 타당성을 검증하기 위해.

제안 방법

• 입력 변수 $ X $ 에 대해 관측되지 않는 절단 생존 함수를 비모수적 카플란-마이어 추정기법으로 대체함으로써 진짜 위험의 플러그인 추정기법을 제안하며, 이는 가중 경험 위험 기능으로 이어진다.
• 카플란-마이어 위험을 표준 경험 위험의 가중 버전으로 정의하며, 이는 입력 변수 $ X $ 에 조건부로 절단 변수 $ C $ 의 추정된 조건부 생존 함수의 역수에서 유도된 가중치를 사용한다.
• 가중 경험 위험의 경험 과정을 분석하기 위해 $ U $-과정 이론과 최대 편차 경계를 활용하며, 위험 추정기법에 대한 농도 부등식을 수립한다.
• 열림된 $ U $-과정에 대한 추론 8을 적용하여 가중 경험 과정의 편차를 제어하며, VC 유형의 복잡도와 유계 조건을 활용한다.
• 핵밀도 추정과 균일 엔트로피 조건을 사용하여 추정된 위험의 기대값에서의 초과 편차의 최대값에 대한 비점근적 경계를 유도한다.
• 절단 지표 $ \delta $ 와 조건부 생존 함수를 모두 고려한 더블로버스트 가중치 방법을 활용하여, 온건한 규칙성 조건 하에서도 일관된 위험 추정이 보장되도록 한다.

실험 결과

연구 질문

• RQ1 진짜 레이블이 랜덤 절단 시간을 초과하여 관측되지 않는 우측절단된 반응 변수를 가진 회귀 문제에서 경험 위험 최소화를 일관적으로 확장할 수 있는가?
• RQ2 카플란-마이어 추정기법을 통해 절단을 고려한 위험의 플러그인 추정기법을 사용할 경우, 경험 위험 최소화자들이 달성할 수 있는 최적의 학습률은 무엇인가?
• RQ3 제안된 카플란-마이어 위험 추정기법은 절단을 무시하는 난이도 높은 경험 위험 최소화 방법과 비교해 어떤가? 특히 고차원 입력 공간에서의 성능은 어떻게 되는가?
• RQ4 절단 조건 하에서 가중 경험 위험 기능에 대해 비점근적 일반화 경계를 어떻게 설정할 수 있는가?

주요 결과

• 카플란-마이어 위험 기능의 최소화자들의 학습률은 $ O_{\mathbb{P}}(\sqrt{\log n / n}) $ 이며, 온건한 규칙성 조건 하에서 절단이 없는 경우와 동일한 최적 속도를 달성한다.
• 제안된 방법은 절단 변수 $ C $ 의 조건부 생존 함수의 카플란-마이어 추정기법에 기반한 플러그인 추정기법을 사용함으로써 일관된 위험 추정을 달성한다.
• 수치 실험 결과, IPCW 기반 추정기법이 절단을 무시하는 난이도 높은 ERM 방법보다 유의미하게 뛰어난 성능을 보이며, 특히 높은 절단 비율과 고차원에서 두드러진다.
• 선형 회귀, 서포트 벡터 회귀, 랜덤 포레스트를 포함한 다양한 모델에서 강력한 일반화 성능을 유지하며, $ L^2 $ 오차에서 일관된 향상이 관찰된다.
• 이론적 분석은 가중 경험 위험 과정이 $ U $-과정 이론에 의해 잘 제어되며, 편차 경계가 $ O(\sqrt{\log n / n}) $ 의 비율로 척도가 조정됨을 확인한다.
• 플러그인 추정의 모델 편향에 대해 이론적 분석에서 이러한 편향을 무시하더라도 학습률이 여전히 최적이므로 방법이 강건함을 입증한다.