[논문 리뷰] Risk bounds for purely uniformly random forests

Robin Genuer|arXiv (Cornell University)|2010. 06. 15.

Statistical Methods and Inference참고 문헌 11인용 수 11

한 줄 요약

이 논문은 훈련 데이터에 의존하지 않고 분할을 순수하게 균일하게 랜덤으로 생성하는 순수 균일 랜덤 포레스트(PURF)를 소개한다. 일차원 회귀에서 PURF는 최소최대 수렴 속도를 달성하고 단일 랜덤 트리에 비해 추정기 분산을 3/4 배로 줄여, 편향을 증가시키지 않으면서도 앙상블 평균화의 이론적 이점을 입증한다.

ABSTRACT

Random forests, introduced by Leo Breiman in 2001, are a very effective statistical method. The complex mechanism of the method makes theoretical analysis difficult. Therefore, a simplified version of random forests, called purely random forests, which can be theoretically handled more easily, has been considered. In this paper we introduce a variant of this kind of random forests, that we call purely uniformly random forests. In the context of regression problems with a one-dimensional predictor space, we show that both random trees and random forests reach minimax rate of convergence. In addition, we prove that compared to random trees, random forests improve accuracy by reducing the estimator variance by a factor of three fourths.

연구 동기 및 목표

• 순수 균일 랜덤 포레스트(PURF)라는 랜덤 포레스트의 단순화된 변종을 분석하여 이들의 성능에 대한 이론적 연구를 가능하게 한다.
• 일차원 예측 공간을 가진 비모수 회귀에서 PURF의 위험 한계를 설정한다.
• 랜덤 포레스트가 단일 랜덤 트리보다 추정기 분산을 얼마나 향상시키는지 정량화한다.
• PURF가 리프시츠 함수의 클래스에서 최소최대 수렴 속도를 달성함을 보인다.
• 이론적으로 분석 가능하도록 단순화된 설정에서 앙상블 평균화의 분산 감소 효과를 분리한다.

제안 방법

• 이 방법은 k개의 i.i.d. 균일 랜덤 변수를 사용하여 단위 구간 [0,1]의 무작위 분할을 구성하고, 이를 회귀계량기 기반 트리의 버킷으로 정의한다.
• 포레스트의 각 트리는 독립적으로 무작위 분할을 사용하여 구축되며, 각 버킷 내 평균 반응값을 기반으로 예측한다.
• 랜덤 포레스트 예측기는 q개의 독립적인 PURF 트리를 평균하여 분산을 줄인다.
• 분석은 편향과 분산 성분으로 위험를 분해하며, 분산 항은 두 트리 간의 겹치는 버킷 수의 기대값을 통해 유계화된다.
• 핵심 기술 도구로는 균일 랜덤 변수의 순서통계량과 초기하분포 항등식을 사용하여 무작위 분할 간의 기대 겹침을 계산한다.
• 이론적 경계는 n → ∞일 때 渐近적 분석을 통해 유도되며, 편향과 분산을 제어하기 위해 k가 n과 함께 느리게 증가하도록 설정된다.

실험 결과

연구 질문

• RQ1 순수 균일 랜덤 포레스트는 일차원 비모수 회귀에서 최소최대 수렴 속도를 달성할 수 있는가?
• RQ2 랜덤 포레스트 추정기의 분산은 단일 랜덤 트리의 분산과 비교해 어떻게 되는가?
• RQ3 이 단순화된 모델에서 랜덤 포레스트의 앙상블 평균화는 편향을 증가시키지 않고 분산을 줄이는가?
• RQ4 PURF에서 단일 PURT에 비해 분산이 정확히 얼마만큼 감소하는가?
• RQ5 이론적으로 분석 가능한 i.i.d. 분할 설정에서 랜덤 포레스트의 이론적 성능을 엄밀히 분석할 수 있는가?

주요 결과

• 순수 균일 랜덤 포레스트는 일차원 입력 공간에서 리프시츠 함수의 클래스에 대해 최소최대 수렴 속도를 달성한다.
• 랜덤 포레스트 추정기의 분산은 단일 랜덤 트리에 비해 3/4 배로 감소하지만, 편향은 그대로 유지된다.
• 두 개의 독립적인 PURF 간의 겹치는 버킷 수의 기대값은 渐近적으로 (k+1)/4이며, 이는 분산 감소의 원인이다.
• n → ∞일 때 PURF의 위험 경계는 O(σ²(k+1)/n)이며, 고차항은 사라지므로 최소최대 최적성임을 확인한다.
• 분석 결과, PURF에서 앙상블 평균화가 분산을 3/4 배로 줄이는 것으로 확인되어, 랜덤 포레스트의 성능 향상에 대한 이론적 근거를 제공한다.
• 결과는 i.i.d. 균일 분할과 알려진 오차 분산 σ²을 전제로 하며, 예측 변수가 일차원으로 제한된 모델에서 성립한다.