[논문 리뷰] Analysis of purely random forests bias

Sylvain Arlot, Robin Genuer|arXiv (Cornell University)|2014. 07. 15.

Statistical Methods and Inference참고 문헌 21인용 수 47

한 줄 요약

이 논문은 회귀에서 순수한 랜덤 포레스트(PRf)의 근사 편향을 분석하며, 정규성 조건 하에서 무한대의 PRF가 단일 트리보다 편향을 더 빨리 감소시킴을 보여준다. 무한 포레스트의 위험률을 따라잡기 위한 최소 트리 수를 유도하며, PRF 편향을 커널 추정기와 연결하고 더 많은 트리로 더 빠른 수렴 속도를 확립한다.

ABSTRACT

Random forests are a very effective and commonly used statistical method, but their full theoretical analysis is still an open problem. As a first step, simplified models such as purely random forests have been introduced, in order to shed light on the good performance of random forests. In this paper, we study the approximation error (the bias) of some purely random forest models in a regression framework, focusing in particular on the influence of the number of trees in the forest. Under some regularity assumptions on the regression function, we show that the bias of an infinite forest decreases at a faster rate (with respect to the size of each tree) than a single tree. As a consequence, infinite forests attain a strictly better risk rate (with respect to the sample size) than single trees. Furthermore, our results allow to derive a minimum number of trees sufficient to reach the same rate as an infinite forest. As a by-product of our analysis, we also show a link between the bias of purely random forests and the bias of some kernel estimators.

연구 동기 및 목표

• 순수한 랜덤 포레스트(PRf)의 회귀에서의 근사 편향을 이해하기 위해 단순화된 랜덤 포레스트 모델을 제시한다.
• 트리 수가 PRF의 편향과 위험에 어떻게 영향을 주는지 분석하며, 특히 무한대 트리의 극한에서의 행동을 다룬다.
• 무한 포레스트의 편향률을 동일하게 달성하기 위한 최소 트리 수를 유도한다.
• PRF 편향을 커널 추정기의 편향과 연결하여 PRF 성능에 대한 이론적 통찰을 제공한다.

제안 방법

• 유계이고 헬더 연속인 회귀 함수를 [0,1]^d에서 정의한 회귀 프레임워크를 사용한다.
• 데이터에 독립적인 무작위 분할을 사용하는 PRF를 분석하며, 각 차원에서 균일한 무작위 분할을 적용한다.
• 편향을 두 개의 항으로 분해한다: 분할 메커니즘에서 기인하는 항과 叶에서 국소 평균화에서 기인하는 항.
• 집중 부등식을 적용하고 트리 깊이에 대한 최적화를 통해 편향을 유계로 만들며, 레마 19–21의 결과를 활용한다.
• 무한 포레스트에서 편향의 상한을 도출하며, 이는 n^{-4/5}의 속도로 감소함을 보인다. 이는 단일 트리보다 더 빠르다.
• 일정 조건 하에서 편향의 구조가 동일함을 보여 커널 추정기와의 유사성을 입증한다.

실험 결과

연구 질문

• RQ1 트리 수가 증가함에 따라 순수한 랜덤 포레스트의 편향이 단일 트리의 편향과 어떻게 비교되는가?
• RQ2 무한 포레스트의 동일한 편향률을 달성하기 위해 필요한 최적의 트리 수는 얼마인가?
• RQ3 PRF의 편향은 표본 크기 n과 트리 깊이에 따라 어떻게 척도화되는가?
• RQ4 PRF 편향과 커널 추정기 편향 사이의 이론적 연결 고리는 무엇인가?
• RQ5 정규성 가정 하에서 PRF의 편향을 유계로 만들고, 단일 트리보다 더 빠르게 수렴하는 것으로 보일 수 있는가?

주요 결과

• 무한한 순수한 랜덤 포레스트의 편향은 표본 크기 n에 대해 O(n^{-4/5})의 속도로 감소하며, 이는 단일 트리보다 더 빠르다.
• 이는 헬더 연속인 회귀 함수 하에서 무한 포레스트가 단일 트리보다 엄격히 더 우수한 위험률을 달성함을 시사한다.
• 무한 포레스트의 편향률을 동일하게 달성하기 위한 최소 트리 수가 도출되었다.
• PRF의 편향이 특정 커널 추정기의 편향과 동일한 구조를 가짐을 입증하여 이론적 연결 고리를 확립하였다.
• 다양한 트리의 평균화 효과로 인해 PRF 편향의 수렴 속도가 단일 트리보다 더 빠르다.
• 회귀 함수의 부드러움과 트리 수에 따라 의존하는 명시적 상한을 제공한다.