[논문 리뷰] Asymptotic Theory for Random Forests

Stefan Wager|arXiv (Cornell University)|2014. 05. 02.

Soil Geostatistics and Mapping참고 문헌 22인용 수 33

한 줄 요약

이 논문은 하위표본 크기가 $ s(n)/n = o(\log(n)^{-d}) $ 비율로 증가할 때, 무작위 숲 예측의 점근적 정규성을 확립하고, 미세한 재표집(Infinitesimal Jackknife)이 점근적 분산의 일致한 추정치를 제공함을 보여준다. 이러한 결과들은 무작위 숲 예측에 대한 공식적인 통계적 추론, 예를 들어 신뢰구간을 가능하게 한다.

ABSTRACT

Random forests have proven to be reliable predictive algorithms in many application areas. Not much is known, however, about the statistical properties of random forests. Several authors have established conditions under which their predictions are consistent, but these results do not provide practical estimates of random forest errors. In this paper, we analyze a random forest model based on subsampling, and show that random forest predictions are asymptotically normal provided that the subsample size s scales as s(n)/n = o(log(n)^{-d}), where n is the number of training examples and d is the number of features. Moreover, we show that the asymptotic variance can consistently be estimated using an infinitesimal jackknife for bagged ensembles recently proposed by Efron (2014). In other words, our results let us both characterize and estimate the error-distribution of random forest predictions, thus taking a step towards making random forests tools for statistical inference instead of just black-box predictive algorithms.

연구 동기 및 목표

• 예측 정확도를 넘어서 통계적 추론을 가능하게 하는 빈도주의 무작위 숲에 대한 엄밀한 점근적 이론을 개발하기 위해.
• 무작위 숲 예측의 표집분포와 분산에 대한 이론적 이해 부족 문제를 해결하기 위해.
• 무작위 숲 예측이 온화한 하위표본 크기 조건 하에서 점근적으로 정규분포를 띠게 됨을 보여주기 위해.
• 무작위 숲 예측의 점근적 분산을 일관되게 추정할 수 있음을 보여주기 위해.
• 신뢰구간 구성 및 가설검정과 같은 추론 작업에 무작위 숲을 사용할 수 있는 기반을 마련하기 위해.

제안 방법

• 이론적 접근성을 확보하기 위해 부트스트래핑 대신 하위표본 추출 기반의 무작위 숲 분석을 수행한다.
• 특징 차원 $ d $ 를 고려하여 조건 $ s(n)/n = o(\log(n)^{-d}) $ 하에서 예측의 점근적 정규성을 도출한다.
• 에프론(2014)이 최근 제안한, 백업된 앙상블에 대한 미세한 재표집 추정기법을 적용하여 점근적 분산을 추정한다.
• 이론적 프레임워크를 활용하여, 주어진 하위표본 크기 조건 하에서 미세한 재표집 분산 추정치가 일관됨을 보여준다.
• 다양한 분포(余弦, XOR, AND)를 가진 시뮬레이션 데이터와 실제 UCI 데이터셋을 대상으로 방법을 검증한다.
• 두 단계 추정 절차를 활용한다: 먼저 미세한 재표집 분산 추정치 $ \widehat{V}_{IJ} $ 를 계산하고, 그 정확도를 편향, 분산, MSE 지표로 평가한다.

실험 결과

연구 질문

• RQ1 무작위 숲 예측이 점근적으로 정규분포를 띠는 조건은 무엇인가?
• RQ2 무작위 숲 예측의 점근적 분산을 데이터로부터 일관되게 추정할 수 있는가?
• RQ3 하위표본 크기 $ s(n) $ 는 점근적 정규성과 분산 추정 정확도에 어떤 영향을 미치는가?
• RQ4 미세한 재표집은 무작위 숲 예측의 표집분산을 신뢰할 수 있고 일관된 추정치로 제공하는가?
• RQ5 다양한 데이터 생성 분포와 표본 크기에서 분산 추정기의 성능은 어떻게 변화하는가?

주요 결과

• 하위표본 크기가 $ s(n)/n = o(\log(n)^{-d}) $ 를 만족할 경우, 무작위 숲 예측은 점근적으로 정규분포를 띤다. 여기서 $ d $ 는 특징의 수이다.
• 동일한 하위표본 크기 조건 하에서, 미세한 재표집 추정기법은 무작위 숲 예측의 점근적 분산에 대해 일관된 추정치를 제공한다.
• 시뮬레이션 결과에 따르면, 표본 크기 $ n $ 이 증가할수록 미세한 재표집 분산 추정치의 정확도가 높아지며, 여론 및 XOR 분포의 경우 상대적 MSE 가 감소함을 보여준다.
• 작은 표본 실세계 데이터셋(예: auto, 산불, 주택)에서도 분산 추정기법이 잘 작동하며, 더 큰 데이터셋에서는 상대적 MSE 값이 0.002 이하로 유지된다.
• 높은 차원성과 비-Lipschitz 조건부 평균을 가진 AND 분포의 경우 오차 감소 속도가 느리며, 이는 분산 추정의 어려움을 시사한다.
• 이론적 프레임워크는 무작위 숲이 블랙박스 예측 도구를 넘어서 유효한 신뢰구간과 가설검정을 가능하게 하는 통계적 추론 도구로 사용될 수 있음을 뒷받침한다.