[논문 리뷰] Asymptotic Distributions and Rates of Convergence for Random Forests and other Resampled Ensemble Learners.

Wei Peng, Tim Coleman외 1명|arXiv (Cornell University)|2019. 05. 25.

Neural Networks and Applications참고 문헌 21인용 수 7

한 줄 요약

이 논문은 일반화된 U-통계량을 도입하여 랜덤 포레스트 및 기타 리샘플링 기반 앙상블 학습자에 대한 수렴 속도를 규명하며, 더 큰 부분 표본 크기에서 渐近 정규성을 입증하고, 부분 표본 크기와 트리 수에 기반하여 수렴 속도를 정량화하는 Berry-Esseen 경계를 제공한다.

ABSTRACT

Random forests remain among the most popular off-the-shelf supervised learning algorithms. Despite their well-documented empirical success, however, until recently, few theoretical results were available to describe their performance and behavior. In this work we push beyond recent work on consistency and asymptotic normality by establishing rates of convergence for random forests and other supervised learning ensembles. We develop the notion of generalized U-statistics and show that within this framework, random forest predictions can potentially remain asymptotically normal for larger subsample sizes than previously established. We also provide Berry-Esseen bounds in order to quantify the rate at which this convergence occurs, making explicit the roles of the subsample size and the number of trees in determining the distribution of random forest predictions.

연구 동기 및 목표

• 일致성과 渐近 정규성 이외의 랜덤 포레스트 이론적 이해를 확장하기 위해.
• 랜덤 포레스트 예측이 정규분포로 수렴하는 속도를 정량화하기 위해.
• 더 큰 부분 표본 크기에서 渐近 정규성이 유지되는 조건을 규명하기 위해.
• 앙상블 학습자에 대한 수렴 속도를 측정하기 위해 명시적인 Berry-Esseen 경계를 제공하기 위해.
• 부분 표본 크기와 트리 수가 예측 분포 행동에 미치는 역할을 체계화하기 위해.

제안 방법

• 리샘플링 기반 앙상블 학습자를 분석하기 위한 프레임워크로 일반화된 U-통계량을 도입한다.
• U-통계량 이론을 적용하여 랜덤 포레스트 예측 출력을 모델링한다.
• 정규분포로의 수렴 속도를 정량화하기 위해 Berry-Esseen 경계를 유도한다.
• 부분 표본 크기와 트리 수가 수렴 속도에 미치는 공동 영향을 분석한다.
• 이전에 알려진 것보다 더 큰 부분 표본에서도 渐近 정규성이 유지되는 조건을 설정한다.
• 이론적 확률 도구를 사용하여 예측 분포가 정규분포에서 벗어나지 않는 정도를 경계한다.

실험 결과

연구 질문

• RQ1 랜덤 포레스트의 예측 분포가 더 큰 부분 표본 크기에서도 여전히 渐近 정규성을 유지하는 조건은 무엇인가?
• RQ2 랜덤 포레스트의 예측 분포가 정규분포로 수렴하는 속도는 얼마나 빠른가?
• RQ3 명시적인 수렴 속도는 무엇이며, 부분 표본 크기와 트리 수는 이에 어떻게 영향을 미치는가?
• RQ4 일반화된 U-통계량을 사용하여 앙상블 학습자의 분포를 모델링하고 경계할 수 있는가?
• RQ5 Berry-Esseen 경계는 랜덤 포레스트에서 정규분포 근사의 정확도를 어떻게 정량화하는가?

주요 결과

• 랜덤 포레스트 예측은 이전에 알려진 것보다 더 큰 부분 표본 크기에서도 여전히 渐近 정규성을 유지한다.
• 정규분포로의 수렴 속도는 Berry-Esseen 경계를 통해 정량화된다.
• 수렴 속도는 부분 표본 크기와 트리 수에 명시적으로 의존한다.
• 일반화된 U-통계량은 리샘플링 기반 앙상블 학습자를 분석하기 위한 이론적 프레임워크를 제공한다.
• 이 프레임워크를 통해 앙상블 예측의 분포적 행동에 더 엄밀한 통제를 할 수 있다.
• 결과는 모델 설계 선택과 渐近 분포 성질 간의 상호작용을 체계화한다.