[논문 리뷰] Complete Analysis of a Random Forest Model

Jason M. Klusowski|arXiv (Cornell University)|2018. 05. 07.

Statistical Methods and Inference참고 문헌 5인용 수 15

한 줄 요약

이 논문은 특징을 균일하게 랜덤으로 선택하고, 특징 범위의 중간점에서 분할하는 랜덤 포레스트 모델에 대한 완전한 이론적 분석을 제공한다. 평균 제곱 예측 오차율이 $(n\sqrt{S-1} \sqrt{\log n})^{-1/(S\log 2 + 1)}$ 의 순서를 가지며, 이는 $S \leq \lfloor 0.72d \rfloor$ 일 때 희박 회귀의 최소최대율을 초월한다. 또한, 조건부 차원에 관계없이 분산이 감소함을 보이며, 완전히 성장한 트리일지라도 마찬가지이다.

ABSTRACT

Random forests have become an important tool for improving accuracy in regression problems since their popularization by (Breiman, 2001) and others. In this paper, we revisit a random forest model originally proposed by (Breiman, 2004) and later studied by (Biau, 2012), where a feature is selected at random and the split occurs at the midpoint of the block containing the chosen feature. If the regression function is sparse and depends only on a small, unknown subset of $ S $ out of $ d $ features, we show that given $ n $ observations, this random forest model outputs a predictor that has a mean-squared prediction error of order $ \left(n\sqrt{\log^{S-1} n} ight)^{-\frac{1}{S\log2+1}} $. When $ S \leq \lfloor 0.72 d floor $, this rate is better than the minimax optimal rate $ n^{-\frac{2}{d+2}} $ for $ d $-dimensional, Lipschitz function classes. As a consequence of our analysis, we show that the variance of the forest decays with the depth of the tree at a rate that is independent of the ambient dimension, even when the trees are fully grown. In particular, if $ \ell_{avg} $ (resp. $ \ell_{max} $) is the average (resp. maximum) number of observations per leaf node, we show that the variance of this forest is $ \Theta\left(\ell^{-1}_{avg}(\sqrt{\log n})^{-(S-1)} ight) $, which for the case of $ S = d $, is similar in form to the lower bound $ \Omega\left(\ell^{-1}_{max}(\log n)^{-(d-1)} ight) $ of (Lin and Jeon, 2006) for any random forest model with a nonadaptive splitting scheme. We also show that the bias is tight for any linear model with nonzero parameter vector. Thus, we completely characterize the fundamental limits of this random forest model. Our new analysis also implies that better theoretical performance can be achieved if the trees are grown less aggressively (i.e., grown to a shallower depth) than previous work would otherwise recommend.

연구 동기 및 목표

• 특정 랜덤 포레스트 모델(랜덤 특징 선택 및 중간점 분할)의 이론적 성능 한계를 이해하기 위해.
• 표본 크기 $n$ 과 희박성 $S$ 에 따라 고차원 설정에서 모델의 예측 오차가 어떻게 척도가 변하는지 분석하기 위해.
• 숲의 분산과 편향 행동을 트리 깊이와 임베딩 차원 $d$ 와의 관계에서 특성화하기 위해.
• 일반적으로 권장되는 것보다 덜 공격적인 트리 성장(얕은 깊이)이 더 좋은 이론적 성능을 낼 수 있는지 판단하기 위해.

제안 방법

• 분석은 각 분할에서 특징을 균일하게 랜덤으로 선택하고, 관측된 범위의 중간점에서 분할하는 랜덤 포레스트 모델에 집중한다.
• 모델은 진짜 회귀 함수가 $d$ 개 특징 중 $S$ 개에만 의존한다고 가정하며, $S$ 는 알려져 있지 않으며 잠재적으로 작을 수 있다.
• 편향과 분산 성분을 분석하여 평균 제곱 예측 오차를 유도하며, 비제로 계수를 가진 선형 모델에 대해 편향가 엄밀한 것으로 밝혀졌다.
• 분산은 평균 및 최대 리프 크기 $\ell_{\text{avg}}$ 와 $\ell_{\text{max}}$ 의 함수로 감소율을 유도하여 $\Theta(\ell^{-1}_{\text{avg}}(\sqrt{\log n})^{-(S-1)})$ 라는 결과를 도출한다.
• 편향과 분산을 비적응적 분할 방식 하에서 유계로 만들기 위해 농도 불등식과 재귀적 분할 추론을 활용한다.
• 유도된 오차율을 $d$ 차원에서 리프시츠 함수에 대한 최소최대 최적율 $n^{-2/(d+2)}$ 와 비교한다.

실험 결과

연구 질문

• RQ1 이 랜덤 포레스트 모델의 정확한 평균 제곱 예측 오차율은 희박 회귀 하에서 어떤가?
• RQ2 숲의 분산은 트리 깊이에 따라 어떻게 감소하며, 임베딩 차원 $d$ 에 의존하는가?
• RQ3 이 모델은 $d$ 차원 리프시츠 함수에 대해 최소최대율 $n^{-2/(d+2)}$ 보다 더 빠른 오차율을 달성할 수 있는가?
• RQ4 모델의 성능은 진짜 회귀 함수의 희박성 $S$ 에 따라 어떻게 달라지는가?
• RQ5 일반적으로 권장되는 것보다 덜 깊이 있는 트리 성장이 이론적으로 유리한가?

주요 결과

• 랜덤 포레스트 모델의 평균 제곱 예측 오차는 $(n\sqrt{\log^{S-1} n})^{-1/(S\log 2 + 1)}$ 의 순서를 가지며, 이는 $S \leq \lfloor 0.72d \rfloor$ 일 때 최소최대율 $n^{-2/(d+2)}$ 보다 더 빠르다.
• 숲의 분산은 $\Theta(\ell^{-1}_{\text{avg}}(\sqrt{\log n})^{-(S-1)})$ 의 속도로 감소하며, 조건부 차원 $d$ 와 무관하게, 완전히 성장한 트리일지라도 마찬가지이다.
• $S = d$ 인 경우, 분산 속도는 Lin과 Jeon (2006)에서 유도된 하한 $\Omega(\ell^{-1}_{\text{max}}(\log n)^{-(d-1)})$ 와 일치하여 엄밀함을 보여준다.
• 비제로 계수 벡터를 가진 모든 선형 모델에 대해 편향가 엄밀함을 입증하여, 모델이 저차원적 구조에 적응할 수 있음을 확인한다.
• 분석 결과, 일반적으로 권장되는 것보다 덜 깊이 있는 트리 성장을 하면 더 좋은 이론적 성능을 낼 수 있음을 밝혀내어, 기존의 통념을 도전한다.
• 희박한 설정에서 더 빠른 수렴을 달성함으로써, 랜덤 포레스트가 임베딩 차원이 높더라도 내재된 저차원적 구조에 적응할 수 있음을 보여준다.