[논문 리뷰] Sharp Analysis of a Simple Model for Random Forests

Jason M. Klusowski|arXiv (Cornell University)|2018. 05. 07.

Data Mining Algorithms and Applications참고 문헌 25인용 수 9

한 줄 요약

이 논문은 무작위로 선택된 특성의 중점에서 분할이 이루어지는 중심화된 랜덤 포레스트 모델에 대한 날카운 비점근 분석을 제공한다. $ S $개의 특성에서만 의존하는 리프시츠 회귀 함수에 대해 예측 오차율이 $ O((n(\text{log} n)^{(S-1)/2})^{-1/(S\log 2 + 1)}) $임을 입증하며, 이는 로그 인자에 대한 최소한의 차이를 제외하고 최소최대 최적 속도를 달성한다. 이는 비아우가 제기한 열린 문제를 해결한다.

ABSTRACT

Random forests have become an important tool for improving accuracy in regression and classification problems since their inception by Leo Breiman in 2001. In this paper, we revisit a historically important random forest model originally proposed by Breiman in 2004 and later studied by Gérard Biau in 2012, where a feature is selected at random and the splits occurs at the midpoint of the node along the chosen feature. If the regression function is Lipschitz and depends only on a small subset of $ S $ out of $ d $ features, we show that, given access to $ n $ observations and properly tuned split probabilities, the mean-squared prediction error is $ O((n(\log n)^{(S-1)/2})^{-\frac{1}{S\log2+1}}) $. This positively answers an outstanding question of Biau about whether the rate of convergence for this random forest model could be improved. Furthermore, by a refined analysis of the approximation and estimation errors for linear models, we show that this rate cannot be improved in general. Finally, we generalize our analysis and improve extant prediction error bounds for another random forest model in which each tree is constructed from subsampled data and the splits are performed at the empirical median along a chosen feature.

연구 동기 및 목표

• 비아우(2012)가 제기한 단순한 랜덤 포레스트 모델의 수렴 속도를 향상시킬 수 있는지 여부에 대한 열린 문제를 해결하기 위해.
• 표본 크기 $ n $, 차원 $ d $, 희박성 $ S $에 대한 명시적 의존성을 보여주는 비점근 예측 오차 경계를 제공하기 위해.
• 랜덤 포레스트의 맥락에서 선형 모델에 대한 근사 오차와 추정 오차의 날카운 경계를 설정하기 위해.
• 하나의 랜덤 포레스트 모델을 하향 샘플링된 데이터와 중앙값 기반 분할을 사용하는 두 번째 모델로 일반화하기 위해.
• 유도된 속도가 일반적으로 향상될 수 없음을 보여주어 모델의 기본 한계를 확립하기 위해.

제안 방법

• 각 트리는 무작위 특성 선택과 선택된 특성에 따른 중점에서의 분할을 사용해 독립적으로 생성되는 중심화된 랜덤 포레스트 모델을 분석한다.
• 비점근 프레임워크를 사용하여 평균 제곱 예측 오차를 경계하며, 이를 근사 오차와 추정 오차로 분해한다.
• 스티르링의 근사 공식을 통한 다항분포 尾確率의 정교한 분석을 적용하여 독립적인 트리 간의 불일치 확률을 제어한다.
• 두 개의 독립적인 다항분포 벡터 간의 $ \ell^1 $-거리의 기대 지수에 대한 날카운 상한을 도출한다.
• 분할 확률에 대한 미약한 조건 하에서 상한의 날카움을 입증하기 위해 동일한 양상에 하한을 설정한다.
• 선택된 특성의 경험 중앙값에서 분할이 이루어지는 하향 샘플링된 모델의 분석을 일반화한다.

실험 결과

연구 질문

• RQ1 중심화된 랜덤 포레스트 모델의 예측 오차율은 이전에 알려진 $ O(n^{-1/(S\log 2 + 1)}) $ 속도를 초월해 향상시킬 수 있는가?
• RQ2 유도된 속도 $ O((n(\log n)^{(S-1)/2})^{-1/(S\log 2 + 1)}) $가 이 모델에 대해 최소최대 의미에서 최적인가?
• RQ3 이 랜덤 포레스트 프레임워크에서 근사 오차와 추정 오차 사이의 기본적인 트레이드오프는 무엇인가?
• RQ4 이 모델은 고차원 희박 설정에서 리프시츠 회귀 함수에 대해 최소최대 최적 속도를 달성하는가?
• RQ5 하향 샘플링된 데이터와 경험 중앙값 분할을 사용하는 더 현실적인 변형으로 분석을 확장할 수 있는가?

주요 결과

• 논문은 리프시츠 및 희박한 회귀 함수 조건 하에서 중심화된 랜덤 포레스트 모델에 대해 비점근 예측 오차율 $ O((n(\log n)^{(S-1)/2})^{-1/(S\log 2 + 1)}) $을 확립한다.
• 이 속도는 로그 인자에 대한 최소한의 차이를 제외하고 최소최대 최적 속도를 달성하며, 비아우가 제기한 속도 향상 가능성에 대한 열린 질문을 해결한다.
• 분석은 이 모델의 근사 오차가 $ O(k_n^{-1/(S\log 2 + 1)}) $임을 보여주며, 여기서 $ k_n $은 종단 노드의 수이며, 이는 일반적으로 향상될 수 없다.
• 하향 샘플링된 중앙값 기반 랜덤 포레스트 모델에 대해, 노드 크기와 분할 확률 제어의 분석을 정교화함으로써 기존의 예측 오차 경계를 향상시킨다.
• 독립적인 다항분포 벡터 간의 $ \ell^1 $-거리의 기대 지수에 대한 유도된 상한과 하한은 분석의 날카움을 확인한다.
• 결과는 조건부로 튜닝이 이루어지는 간단한 랜덤 포레스트 모델이라도 최적의 속도를 달성할 수 있음을 보여주며, 고차원 희박 설정에서 분할 확률 설계의 중요성을 부각시킨다.