[논문 리뷰] On the asymptotics of random forests

Erwan Scornet|2014. 09. 07.

Bayesian Methods and Mixture Models참고 문헌 28인용 수 7

한 줄 요약

이 논문은 유한한 숲에 대한 균일 중심극한정리와 무한 숲으로의 성능 연결을 통해 랜덤 포레스트의 이론적 기초를 확립한다. 무한 숲의 일致성은 유한 숲의 일치성으로 이어지며, q-분위수 숲에서 개별 트리가 일치하지 않더라도 집합 평균을 통해 일치하는 예측을 도출할 수 있음을 보여, 랜덤 포레스트 방법론에서 이론과 실무 사이의 핵심 격차를 해소한다.

ABSTRACT

The last decade has witnessed a growing interest in random forest models which are recognized to exhibit good practical performance, especially in high-dimensional settings. On the theoretical side, however, their predictive power remains largely unexplained, thereby creating a gap between theory and practice. The aim of this paper is twofold. Firstly, we provide theoretical guarantees to link finite forests used in practice (with a finite number M of trees) to their asymptotic counterparts. Using empirical process theory, we prove a uniform central limit theorem for a large class of random forest estimates, which holds in particular for Breiman's original forests. Secondly, we show that infinite forest consistency implies finite forest consistency and thus, we state the consistency of several infinite forests. In particular, we prove that q quantile forests---close in spirit to Breiman's forests but easier to study---are able to combine inconsistent trees to obtain a final consistent prediction, thus highlighting the benefits of random forests compared to single trees.

연구 동기 및 목표

• M < ∞개의 트리로 구성된 유한 숲(M = ∞)과 그 이론적 무한 숲에 대한 엄밀한 연결을 통해 랜덤 포레스트 모델의 이론-실무 격차를 해소하기 위해.
• empirical process 이론을 사용하여 브라이먼의 원래 알고리즘을 포함한 광범위한 랜덤 포레스트 추정기 클래스에 대해 균일 중심극한정리를 수립하기 위해.
• 무한 숲의 일치성이 유한 숲의 일치성으로 이어짐을 증명하여 이론적 결과가 실무 구현에 대해 검증 가능하게 하기 위해.
• q-분위수 숲—개별 트리가 일치하지 않더라도—집합 평균을 통해 일관된 예측을 달성함을 보여, 앙상블 평균의 힘을 부각하기 위해.

제안 방법

• empirical process 이론을 활용하여 입력 공간 전체에 걸쳐 수렴 보장이 되는 랜덤 포레스트 추정에 대한 균일 중심극한정리를 도출한다.
• 무한 숲의 L² 위험을 분석하고, 이가 어떤 유한 숲의 위험보다 확률적으로 지배됨을 보여, 무한 모델의 이론적 분석을 뒷받침한다.
• 나무 생성 방식이 데이터 포인트의 위치에 따라 달라지는 단순화된 모델인 q-분위수 숲을 도입하여 이론적 접근 가능성을 높인다.
• 재귀적 통합과 수학적 귀납법을 사용하여 수준 k에서 멈춘 균일 랜덤 숲의 연결 함수 K_k(0,x)를 유도하고, 그 닫힌 형태 표현식을 증명한다.
• 셀 길이 비교 및 컷 위치 매핑에 관한 기술적 보조정리를 사용하여 서로 다른 나무 생성 구성 간의 확률적 지배 관계를 수립한다.
• 무한 숲의 위험이 유한 숲의 위험보다 하한임을 증명하여, 무한 극한에서의 일치성이 유한 설정에서의 일치성을 보장함을 의미한다.

실험 결과

연구 질문

• RQ1 무한 랜덤 숲의 일치성이 M < ∞개의 트리로 구성된 유한 랜덤 숲의 일치성으로 이어지는가?
• RQ2 일관하지 않은 개별 트리를 조합하는 랜덤 숲이라도 전체 예측이 일관성이 있는가?
• RQ3 단일 트리보다 랜덤 포레스트가 더 뛰어난 경험적 성능을 보이는 이론적 근거는 무엇인가?
• RQ4 무한 숲의 이론적 분석을 실무에서 사용하는 유한 개의 트리로 구성된 구현과 엄밀하게 연결할 수 있는가?
• RQ5 개별 트리가 일관하지 않을 때 랜덤화가 일치성을 보장하는 데 어떤 역할을 하는가?

주요 결과

• 일반적인 조건 하에서, 브라이먼의 원래 알고리즘을 포함한 광범위한 랜덤 포레스트 추정기 클래스에 대해 균일 중심극한정리가 수립된다.
• 무한 숲의 L² 위험은 어떤 유한 숲의 위험보다 확률적으로 작다. 이는 무한 숲의 일치성이 유한 숲의 일치성으로 이어짐을 의미한다.
• q-분위수 숲은 개별 트리가 일관하지 않더라도 일관된 것으로 증명되며, 앙상블 평균의 힘을 보여준다.
• 수준 k에서 멈춘 균일 랜덤 숲의 연결 함수 K_k(0,x)는 1 - x∑_{j=0}^{k-1} (−ln x)^j / j! 의 닫힌 형태로 유도된다.
• 이론적 분석은 랜덤 포레스트가 일관하지 않은 트리를 평균화함으로써 일관성을 달성할 수 있음을 확인하며, 오랫동안 남아있던 이론적 수수께끼를 해결한다.
• 이 논문은 실용적 유한 랜덤 포레스트와 그 이론적 무한 대응체 사이에 처음으로 엄밀한 연결을 제공하며, 이론 모델이 실제 응용에 대해 검증 가능하게 한다.