[논문 리뷰] Censored Quantile Regression Forest

Alexander Hanbo Li, Jelena Bradić|arXiv (Cornell University)|2020. 01. 08.

Statistical Methods and Inference인용 수 8

한 줄 요약

이 논문은 근거 없는 가정 없이 쿼린트 회귀 숲을 이용해 생존 시간 결과의 조건부 분위수를 일관되게 추정할 수 있도록 하는 비모수적 방법인 차폐된 분위수 회귀 숲(CQRF)을 제안한다. 이 방법은 쿼린트 스코링으로 축소되는 새로운 추정 방정식을 도입하여 쿼린트의 존재 여부에 따라 적응적으로 작동하며, 쿼린트가 없는 경우에도 성능을 유지한다. 이는 숲의 유연성을 유지하면서도 비모수적 가정 없이 조건부 분위수를 추정할 수 있도록 한다. 특히 이질적 분산 환경에서 기존 방법들보다 뛰어난 성능을 보인다.

ABSTRACT

Random forests are powerful non-parametric regression method but are severely limited in their usage in the presence of randomly censored observations, and naively applied can exhibit poor predictive performance due to the incurred biases. Based on a local adaptive representation of random forests, we develop its regression adjustment for randomly censored regression quantile models. Regression adjustment is based on a new estimating equation that adapts to censoring and leads to quantile score whenever the data do not exhibit censoring. The proposed procedure named {\it censored quantile regression forest}, allows us to estimate quantiles of time-to-event without any parametric modeling assumption. We establish its consistency under mild model specifications. Numerical studies showcase a clear advantage of the proposed procedure.

연구 동기 및 목표

• 랜덤 쿼린트에 의한 분위수 회귀에 대한 강력한 비모수적 방법의 부족을 해결한다. 특히 모형 가정이 실패할 경우에 유용하다.
• 비례 위험 모형에 의존하는 기존 숲 기반 방법(예: 랜덤 생존 숲)의 한계를 극복한다. 이는 직접적으로 조건부 분위수를 추정하지 못한다.
• 모형 가정에 의존하지 않는 민감한 접근법을 개발하여, 쿼린트 관측치에서 정보를 유지하면서도 이질적 치료 효과를 추정할 수 있도록 한다.
• 지역 유사도 측정치(숲 가중치)를 사용한 재매개변수화를 통해 비쿼린트 분위수 숲 기법을 쿼린트 데이터에 원활하게 적용할 수 있도록 한다.

제안 방법

• 쿼린트에 적응하고 쿼린트가 없을 경우 표준 분위수 손실로 축소되는 새로운 추정 방정식을 제안한다.
• 나무 구조에서 유도된 데이터 기반 커널을 사용하여 랜덤 숲을 국소 가중 회귀로 재표현하고, 각 관측치에 대한 '숲 가중치'를 정의한다.
• 이 숲 가중치를 사용하여 쿼린트 하에서 조건부 분위수를 추정하는 가중 회귀 문제를 구성한다. 이는 약한 정규성 조건 하에서 일관성을 유지한다.
• 추정 방정식을 숲 프레임워크에 통합하여, 각 나무가 쿼린트 회귀 숲과 호환되는 분할 규칙을 사용해 성장하도록 한다.
• 조건부 생존 함수를 추정하기 위한 두 가지 추정기 개발: 하나는 최근접 이웃 기반이고, 다른 하나는 파ameter-free 추정기로 숲 가중치를 사용한다.
• 이를 통해 쿼린트 반응 설정에서 이질적 치료 효과를 추정할 수 있도록 숲 기반 비모수 모델링의 유연성을 활용한다.

실험 결과

연구 질문

• RQ1 랜덤 숲는 랜덤 쿼린트가 존재하는 상황에서 비모수적 가정 없이 조건부 분위수를 효과적으로 추정할 수 있는가?
• RQ2 이질적 분산 오차 구조 하에서 기존 방법(예: 랜덤 생존 숲, 분위수 숲)과 비교해 본다면, 제안된 추정 방정식의 성능은 어떠한가?
• RQ3 숲 가중치 표현을 사용하여 쿼린트 데이터에서 조건부 생존 함수에 대한 일관된 추정기를 구성할 수 있는가?
• RQ4 결과가 쿼린트일 경우, 기존 비모수적 접근법보다 이 방법이 치료 효과 추정에서 더 우수한 성능을 보이는가?
• RQ5 쿼린트 메커니즘은 표준 숲 알고리즘의 성능에 어떤 영향을 미치며, CQRF는 이를 어떻게 완화하는가?

주요 결과

• 차폐된 분위수 회귀 숲(CQRF)은 복잡한 쿼린트 메커니즘 하에서도 약한 모형 사양 조건 하에서 조건부 분위수 추정이 일관되게 이루어진다.
• 이질적 분산 데이터에서 CQRF-quantile는 랜덤 생존 숲을 포함한 여러 숲 알고리즘 중에서 유일하게 기능하는 솔루션이며, 랜덤 생존 숲은 분위수 구조를 포착하지 못한다.
• 시뮬레이션 결과, CQRF-generalized는 오라클 일반화된 랜덤 숲(GRF-oracle)과 거의 동일한 성능을 보이며 강력한 경험적 효율성을 입증한다.
• 40% 쿼린트가 존재하는 BostonHousing 데이터셋에서 CQRF-quantile는 모든 분위수에서 분위수 손실이 가장 낮게 나타나 RSF와 CRF-quantile를 모두 압도한다.
• 60% 쿼린트가 존재하는 PBC 데이터셋에서 CQRF-quantile는 평균 C-지수 0.82(표준편차 0.02)를 기록하여 경쟁 방법들보다 뚜렷이 뛰어난 성능을 보였다.
• 제안된 파ameter-free 생존 함수 추정기(식 10)는 모든 테스트 포인트에서 안정적이고 정확한 추정을 제공하며, 튜닝이 필요한 최근접이웃 대안보다 우수하다.