[논문 리뷰] Consistency of survival tree and forest models: splitting bias and correction

Yifan Cui, Ruoqing Zhu외 2명|arXiv (Cornell University)|2017. 07. 30.

Statistical Methods and Inference참고 문헌 63인용 수 16

한 줄 요약

이 논문은 케이서닝된 데이터 하에서 생존 트리 및 랜덤 포레스트 모델의 일관성에 대해 조사하며, 실패 및 케이서닝 분포 간의 의존성으로 인해 발생하는 분할 편향을 규명한다. 이는 실패 변수에만 의존하는 수렴 속도를 가지며 예측 오차를 기존 방법보다 크게 향상시키는 편향 보정 누적 위험 분할 규칙을 제안한다.

ABSTRACT

Random survival forest and survival trees are popular models in statistics and machine learning. However, there is a lack of general understanding regarding consistency, splitting rules and influence of the censoring mechanism. In this paper, we investigate the statistical properties of existing methods from several interesting perspectives. First, we show that traditional splitting rules with censored outcomes rely on a biased estimation of the within-node failure distribution. To exactly quantify this bias, we develop a concentration bound of the within-node estimation based on non i.i.d. samples and apply it to the entire forest. Second, we analyze the entanglement between the failure and censoring distributions caused by univariate splits, and show that without correcting the bias at an internal node, survival tree and forest models can still enjoy consistency under suitable conditions. In particular, we demonstrate this property under two cases: a finite-dimensional case where the splitting variables and cutting points are chosen randomly, and a high-dimensional case where the covariates are weakly correlated. Our results can also degenerate into an independent covariate setting, which is commonly used in the random forest literature for high-dimensional sparse models. However, it may not be avoidable that the convergence rate depends on the total number of variables in the failure and censoring distributions. Third, we propose a new splitting rule that compares bias-corrected cumulative hazard functions at each internal node. We show that the rate of consistency of this new model depends only on the number of failure variables, which improves from non-bias-corrected versions. We perform simulation studies to confirm that this can substantially benefit the prediction error.

연구 동기 및 목표

• 실패 및 케이서닝 분포가 의존할 때 케이서닝된 결과 하에서 생존 트리 및 포레스트 모델의 일관성을 이해하는 것.
• 기존의 분할 규칙이 편향된 내부 노드 실패 분포 추정에 의존함으로써 유도되는 분할 편향을 규명하고 정량화하는 것.
• 특히 유한차원 및 고차원 설정에서 이 편향이 존재하더라도 생존 트리 및 포레스트가 여전히 일관성을 유지할 수 있는 조건을 설정하는 것.
• 각 노드에서 편향 보정 누적 위험 함수를 비교하여 편향을 보정하는 새로운 분할 규칙을 개발하는 것.
• 제안된 방법이 실패 변수의 수에만 의존하는 수렴 속도를 가지며 일관성을 달성함을 보여주는 것.

제안 방법

• 비.i.i.d. 표본 하에서 케이서닝과 실패 의존성을 고려한 내부 노드 누적 위험 추정에 대한 농도 경계를 유도한다.
• 단변량 분할에 의해 발생하는 실패 및 케이서닝 분포 간의 엉키는 관계를 분석하여, 일관성이 달성된다고 해도 편향이 지속될 수 있음을 보여준다.
• 편향 보정 누적 위험 함수 $ \widetilde{\Lambda}_{\mathcal{A}}^{\ast}(t) $ 를 기반으로 한 새로운 분할 규칙을 제안하여 케이서닝 분포의 영향을 제거한다.
• 유한차원에서 랜덤 분할을 사용할 경우와 고차원에서 약한 상관관계를 가지는 공변량을 가질 경우 두 상황에서 새로운 모델의 일관성을 확립한다.
• 적응형 농도 부등식과 점근적 경계를 사용하여, 새로운 방법의 수렴 속도가 총 공변량 수가 아닌 실패 변수 수에만 의존함을 보여준다.
• 시뮬레이션 연구를 수행하여 편향 보정 분할 규칙이 기존 접근 방식보다 예측 오차를 감소시킴을 검증한다.

실험 결과

연구 질문

• RQ1 실패 및 케이서닝 분포가 의존할 때, 내부 노드 실패 분포 추정에 기반한 기존 생존 트리 분할 방식이 일관성 있는 모델을 도출하는가?
• RQ2 케이서닝 의존성으로 인해 분할 규칙이 편향되더라도, 명시적인 보정 없이 생존 트리 및 포레스트가 여전히 일관성을 유지할 수 있는가?
• RQ3 총 공변량 수—특히 케이서닝과 관련된 변수들—이 생존 포레스트 모델의 수렴 속도에 어떤 영향을 미치는가?
• RQ4 실패 신호를 케이서닝 영향으로부터 분리하여 일관성을 향상시키는 편향 보정 분할 규칙을 구성할 수 있는가?
• RQ5 제안된 방법은 비편향 보정된 버전보다 더 빠른 수렴 속도를 달성하는가? 그리고 이는 낮은 예측 오차로 이어지는가?

주요 결과

• 실패 및 케이서닝 분포가 의존할 경우, 생존 트리 및 포레스트의 기존 분할 규칙은 내부 노드 실패 분포 추정에 체계적인 편향을 야기한다.
• 적절한 조건 하에서, 예를 들어 유한차원에서의 랜덤 분할 또는 고차원에서의 약한 상관관계가 존재할 경우, 조정되지 않은 편향이 존재하더라도 생존 트리 및 포레스트는 여전히 일관성을 달성할 수 있다.
• 기존 모델의 수렴 속도는 실패 및 케이서닝 메커니즘에 관여하는 총 변수 수에 의존하므로, 최적화되지 않을 수 있다.
• 제안된 편향 보정 분할 규칙은 $ \widetilde{\Lambda}_{\mathcal{A}}^{\ast}(t) $ 를 기반으로 하여 실패 변수 수에만 의존하는 수렴 속도를 가지며 일관성을 달성한다.
• 시뮬레이션 연구는 편향 보정 방법이 기존 생존 포레스트 모델보다 예측 오차를 상당히 감소시킴을 확인한다.
• 이론적 분석은 새로운 방법의 일관성이 케이서닝 의존성에 대해 강건하며, 유한차원 및 고차원 설정 모두에서 수렴 속도가 향상됨을 보여준다.