[논문 리뷰] Analysis of a Random Forests Model

Gérard Biau|arXiv (Cornell University)|2010. 05. 03.

Neural Networks and Applications참고 문헌 36인용 수 652

한 줄 요약

이 논문은 레오 브라이먼이 제안한 랜덤 포레스트 모델에 대한 엄밀한 이론적 분석을 제공하며, 이 방법이 일致성(consistent)임을 입증하고, 희박성(sparsity)에 적응함을 보여준다. 수렴 속도는 총 입력 변수 수(노이즈 특징 포함)가 아니라 관련된(강한) 특징의 수에만 의존한다. 이 분석은 고차원 설정에서 랜덤 포레스트의 강건한 성능에 대한 이론적 기반을 확립한다.

ABSTRACT

Random forests are a scheme proposed by Leo Breiman in the 2000's for building a predictor ensemble with a set of decision trees that grow in randomly selected subspaces of data. Despite growing interest and practical use, there has been little exploration of the statistical properties of random forests, and little is known about the mathematical forces driving the algorithm. In this paper, we offer an in-depth analysis of a random forests model suggested by Breiman in \\cite{Bre04}, which is very close to the original algorithm. We show in particular that the procedure is consistent and adapts to sparsity, in the sense that its rate of convergence depends only on the number of strong features and not on how many noise variables are present.

연구 동기 및 목표

• 랜덤 포레스트, 널리 사용되지만 이해가 부족한 앙상블 방법에 대한 엄밀한 이론적 기반을 제공하는 것.
• 브라이먼이 제안한 특정 모델 변종을 분석하여 원래 알고리즘에 가까운 모델을 연구하는 것.
• 예측 수렴 행동에서의 일치성과 희박성 적응성 확립.
• 특히 많은 부적절한 특징이 존재하는 고차원 설정에서 랜덤 포레스트의 성능을 이끄는 수학적 메커니즘을 명확히 하는 것.

제안 방법

• 연구는 각 트리를 랜덤 서브스페이스 선택과 백팅(bootstrap aggregation)을 사용하여 성장시키는 랜덤 포레스트 모델을 분석한다.
• 각 트리는 각 노드에서 특징의 부분집합을 무작위로 선택하고, 정보 양을 극대화하기 위해 CART 기반 분할을 사용하여 구성된다.
• 최종 예측은 랜덤화된 트리의 앙상블에 대한 기대값이며, 몬테카를로 샘플링을 통해 근사된다.
• 이론적 분석은 이항 및 초기하분포 랜덤 변수의 농도 부등식과 모멘트 한계에 기반한다.
• 핵심 도구로 코시의 적분 공식과 생성함수의 한계를 사용하여 트리 간 특징 겹침 확률을 제어한다.
• 대칭성과 모멘트 부등식을 활용하여 트리 전반에 걸친 특징 선택 횟수의 꼬리 한계를 유도한다.

실험 결과

연구 질문

• RQ1 브라이먼이 제안한 랜덤 포레스트 모델은 일치성 있는가, 즉 표본 크기가 증가함에 따라 예측 오차가 0으로 수렴하는가?
• RQ2 랜덤 포레스트의 수렴 속도는 강한(관련된) 특징의 수에만 의존하는가, 아니면 노이즈 변수의 존재로 인해 떨어지는가?
• RQ3 고차원 설정에서 많은 부적절한 특징이 존재할 때 랜덤 포레스트의 강건성의 근본적인 수학적 메커니즘은 무엇인가?
• RQ4 랜덤 서브스페이스 선택과 백팅 메커니즘이 일치성과 희박성 적응성에 어떻게 공동 기여하는가?
• RQ5 특징이 다수의 트리에 걸쳐 선택될 확률에 대한 이론적 한계를 유도할 수 있는가, 그리고 이는 예측 정확도에 어떻게 영향을 미치는가?

주요 결과

• 랜덤 포레스트 모델은 일치성 있다: 표본 크기가 증가함에 따라 예측의 평균 제곱오차가 0으로 수렴한다.
• 수렴 속도는 총 입력 변수 수에 의존하지 않고 강한 특징의 수에만 의존하므로, 희박성 적응성이 입증된다.
• 특정 특징이 트리에 선택될 확률은 한정되어 있으며, 이는 이항 및 초기하분포 변수의 모멘트 한계를 통해 트리 간 겹침이 제어된다.
• 특징이 트리 전반에 걸쳐 선택되는 기대 횟수는 깊이에 따라 지수적으로 감소하여 앙상블의 다양성이 보장된다.
• 특징 선택 빈도의 꼬리 행동에 대한 이론적 한계는 노이즈 특징이 집계 과정에서 효과적으로 걸러짐을 보여준다.
• 분석은 랜덤 포레스트가 희박한 고차원 모델에서 최적의 수렴 속도를 달성함을 확인하며, 오라클 추정기의 이론적 성능을 따라잡는다.