[논문 리뷰] Consistency of Random Survival Forests

Hemant Ishwaran, Udaya B. Kogalur|ArXiv.org|2008. 11. 18.

Simulation Techniques and Applications참고 문헌 10인용 수 8

한 줄 요약

이 논문은 일반적인 분할 규칙, 부트스트랩 방법, 랜덤 변수 선택 조건 하에서 우도 케이스 생존 데이터에 대해 랜덤 생존 숲(RSF)의 균일한 일致성을 확립한다. 저자들은 계수 과정 이론과 부트스트랩 이론을 활용하여 일치성을 증명하며, 모든 예측 변수가 유한하지만 매우 큰 레이블 공간을 가진 범주형 변수(factors)라고 가정함으로써 RSF의 생존 분석 설정에서의 성능에 대한 이론적 근거를 제공한다.

ABSTRACT

We prove uniform consistency of Random Survival Forests (RSF), a newly introduced forest ensemble learner for analysis of right-censored survival data. Consistency is proven under general splitting rules, bootstrapping, and random selection of variables--that is, under true implementation of the methodology. A key assumption made is that all variables are factors. Although this assumes that the feature space has finite cardinality, in practice the space can be a extremely large--indeed, current computational procedures do not properly deal with this setting. An indirect consequence of this work is the introduction of new computational methodology for dealing with factors with unlimited number of labels.

연구 동기 및 목표

• 우도 케이스 생존 데이터에 대해 랜덤 생존 숲(RSF)의 이론적 일치성을 확립하기 위해.
• 랜덤 숲을 생존 분석에 확장한 RSF에 대한 이론적 기초가 부족한 문제를 해결하기 위해.
• 일반적인 분할 규칙, 부트스트랩, 랜덤 변수 선택 조건 하에서도 일치성을 입증하기 위해.
• 고카디널리티를 가진 범주형 예측 변수의 실용적 과제를 해결하기 위해, 유한하지만 매우 큰 특징 공간에서 일치성을 입증하기 위해.
• 특히 의료 및 고차원 데이터 설정에서 RSF의 강력한 성능에 대한 이론적 기초를 제공하기 위해.

제안 방법

• 일반적인 분할 규칙 하에서 생존 트리의 균일 일치성을 확립하기 위해 계수 과정 이론을 사용한다.
• 개별 생존 트리의 일치성을 앙상블 숲 예측자로 확장하기 위해 부트스트랩 이론을 적용한다.
• 숲의 종단 노드에서의 재표본 추출을 모델링하기 위해 이중 단계 부트스트랩 표본 추출 과정을 활용한다.
• 실험적 과정의 수렴 결과와 마팅게일 이론을 활용하여 생존 함수 추정기의 수렴을 보여준다.
• 로와 싱거의(Lo and Singh, 1985) 보조정리를 사용하여 종단 노드 내에서 부트스트랩 추정기와 원래 추정기 간의 점근적 동치성을 확립한다.
• 특징 공간의 연속성 가정을 피하기 위해 모든 예측 변수가 끝이 나지만 매우 큰 레이블 집합을 가진 범주형 변수(factors)라고 가정한다.

실험 결과

연구 질문

• RQ1 표준 구현 조건 하에서 랜덤 생존 숲(RSF)은 우도 케이스 생존 데이터에 대해 균일하게 일致하는가?
• RQ2 연속적인 예측 변수나 제한적인 분할 규칙을 가정하지 않고도 RSF의 일치성을 입증할 수 있는가?
• RQ3 어떤 이론적 조건이 앙상블 생존 추정기의 진짜 생존 함수로의 균일 수렴을 보장하는가?
• RQ4 범주형 예측 변수의 유한하지만 큰 카디널리티는 RSF의 일치성에 어떤 영향을 미치는가?
• RQ5 실제로 고카디널리티 요인 변수를 다룰 수 있도록 RSF의 이론적 프레임워크를 확장할 수 있는가?

주요 결과

• 일반적인 분할 규칙, 부트스트랩, 랜덤 변수 선택 조건 하에서 진짜 생존 함수에 대해 RSF는 균일하게 일치한다.
• 모든 예측 변수가 범주형(factors)이지만 매우 큰 레이블 공간을 가진다고 가정할 경우에도 일치 결과가 유지된다.
• 생존 트리 추정기는 균일하게 일치한다. 이는 숲의 일치성을 증명하기 위해 사용되는 핵심 중간 결과이다.
• 생존 트리에 대한 부트스트랩 기반 추론은 점근적으로 타당하며, 부트스트랩 생존 추정기는 확률적으로 원래 추정기로 수렴한다.
• 종단 노드 내에서 부트스트랩 생존 추정기의 수렴 속도는 Op*(n^{-1/2} log^{1/2} n)이며, 이는 o_p*(1)이다.
• 유한한 앙상블 생존 트리 집합은 컴act 구간 상의 임의의 연속적이고 단조 감소하는 생존 함수를 균일하게 근사할 수 있다. 이는 RSF의 보편 근사성 특성을 뒷받침한다.