[논문 리뷰] Nearest Neighbor and Kernel Survival Analysis: Nonasymptotic Error Bounds and Strong Consistency Rates

George H. Chen|arXiv (Cornell University)|2019. 05. 13.

Statistical Methods and Inference참고 문헌 35인용 수 6

한 줄 요약

이 논문은 일반적인 거리 공간에서 최근접 이웃 및 커널 생존 추정기의 최초 비점근적 오차 한계를 확립하며, 기존의 하한값에 로그 인자까지 일치하는 강한 일致성 속도를 증명한다. 또한 넬슨-아렌 기반 누적 위험 추정기의 유사한 한계를 유도하고, 예측 정확도 향상을 위해 랜덤 생존 숲을 사용하여 적응형 커널을 학습하는 방법을 제안한다. 실험 결과 네 개의 데이터셋에서 고정 커널보다 우수한 성능을 보였다.

ABSTRACT

We establish the first nonasymptotic error bounds for Kaplan-Meier-based nearest neighbor and kernel survival probability estimators where feature vectors reside in metric spaces. Our bounds imply rates of strong consistency for these nonparametric estimators and, up to a log factor, match an existing lower bound for conditional CDF estimation. Our proof strategy also yields nonasymptotic guarantees for nearest neighbor and kernel variants of the Nelson-Aalen cumulative hazards estimator. We experimentally compare these methods on four datasets. We find that for the kernel survival estimator, a good choice of kernel is one learned using random survival forests.

연구 동기 및 목표

• 일반적인 거리 공간에서 최근접 이웃 및 커널 방법을 사용한 비모수 생존 추정기의 비점근적 오차 한계를 확립하는 것.
• 이러한 추정기의 강한 일치성 속도를 도출하고, 조건부 CDF 추정에 대해 알려진 하한값에 로그 인자까지 일치함을 보여주는 것.
• 일반화 보장을 위한 하이퍼파라미터 선택을 위해 누적 위험 함수의 넬슨-아렌 기반 추정기로의 분석 확장을 수행하는 것.
• 예측 정확도 향상을 위해 랜덤 생존 숲을 사용한 적응형 커널 학습 방법을 제안하고 평가하는 것.
• 실세계 데이터셋에서 다양한 생존 추정 방법(예: k-NN, 커널, 랜덤 생존 숲)의 성능을 경험적으로 비교하는 것.

제안 방법

• 분리 가능한 거리 공간에서 캡만-마이어 기반 최근접 이웃 및 커널 추정기의 조건부 생존 함수에 대한 비점근적 오차 한계 프레임워크를 제안한다.
• 최근접 이웃 및 넬슨-아렌 누적 위험 추정기의 커널 변종에 대해서도 비점근적 한계를 도출할 수 있는 증명 전략을 사용한다.
• 예측 성능 향상을 위해 랜덤 생존 숲을 활용해 커널 생존 추정기의 데이터 적응형 커널을 학습하는 방법을 도입한다.
• 검증 세트를 활용해 최근접 이웃 수 또는 커널 폭의 자동 선택을 위한 일반화 보장을 도출한다.
• 예측된 누적 위험도 기반으로 테스트 대상의 순위를 매기고, 콘코르던스 지수를 계산하며, 학습 데이터의 75퍼센트 분위수를 시간 수평선으로 설정한 통합 브라이어 스코어 변형을 사용한다.
• k-NN(4부터 n까지의 2의 거듭제곱), 커널 폭(0.01h_max에서 h_max까지 로그 간격), 랜덤 생존 숲 하이퍼파라미터(트리 수 및 최대 깊이)에 대한 하이퍼파라미터 그리드를 탐색한다.

실험 결과

연구 질문

• RQ1 특성 벡터가 일반적인 거리 공간에 있을 때 최근접 이웃 및 커널 생존 추정기의 비점근적 오차 한계는 무엇인가?
• RQ2 유도된 오차 한계는 강한 일치성을 의미하는가? 그리고 조건부 CDF 추정에 대해 알려진 하한값과 비교해 볼 때 어떻게 되는가?
• RQ3 동일한 증명 프레임워크로 누적 위험 함수의 넬슨-아렌 기반 추정기의 비점근적 한계를 도출할 수 있는가?
• RQ4 실제로 랜덤 생존 숲을 사용해 커널 생존 추정기의 커널을 학습하는 것이 얼마나 효과적인가?
• RQ5 실세계 생존 데이터셋에서 제안된 적응형 커널 방법이 k-NN, 고정 커널, 랜덤 생존 숲과 비교해 상대적으로 어떤 성능을 보이는가?

주요 결과

• 최근접 이웃 및 커널 생존 추정기의 비점근적 오차 한계는 조건부 CDF 추정에 대해 알려진 하한값에 로그 인자까지 일치하여 거의 최적임을 시사한다.
• 제안된 방법은 거리 공간 내 다양한 분포에 대해 최근접 이웃 및 커널 생존 추정기 모두에 대해 강한 일치성을 달성한다.
• 넬슨-아렌 기반 추정기의 한계는 검증 세트를 통한 자동 하이퍼파라미터 선택을 위한 일반화 보장을 가능하게 한다.
• 랜덤 생존 숲을 통해 학습된 적응형 커널은 gbsg2, recid, kidney 데이터셋에서 표준 랜덤 생존 숲과 비교해 예측 정확도가 유사하거나 뛰어나다.
• 가장 작은 데이터셋(pbc)에서는 ℓ2 거리 기반 가중 k-NN가 콘코르던스 지수에서 다른 방법보다 뛰어나며, 세 개의 더 큰 데이터셋에서는 랜덤 생존 숲이 통합 브라이어 스코어를 가장 낮게 기록한다.
• 통합 브라이어 스코어 결과는 랜덤 생존 숲이 항상 최고 또는 두 번째로 좋은 성능을 기록하며, 적응형 커널 방법은 더 큰 데이터셋에서 경쟁력 있는 성능을 보였다.