[논문 리뷰] Asymptotic Properties of High-Dimensional Random Forests

Chien-Ming Chi, Patrick Vossler외 2명|arXiv (Cornell University)|2020. 04. 29.

Statistical Methods and Inference참고 문헌 32인용 수 8

한 줄 요약

이 논문은 고차원 비모수 회귀에서 CART 분할 기준을 사용하는 원래 랜덤 포레스트 알고리즘에 대한 최초의 일致성 속도를 확립한다. 충분한 불순도 감소(Sufficient Impurity Decrease, SID) 조건을 도입하고, 편향-분산 트레이드오프를 분석함으로써, 특징 차원수가 표본 크기와 함께 다항적으로 증가하는 경우에도, 조각별로 불연속인 회귀 함수와 완전히 자라지 않은 트리가 존재할 때조차 랜덤 포레스트가 다항 속도 일치성을 달성함을 보여준다.

ABSTRACT

As a flexible nonparametric learning tool, the random forests algorithm has been widely applied to various real applications with appealing empirical performance, even in the presence of high-dimensional feature space. Unveiling the underlying mechanisms has led to some important recent theoretical results on the consistency of the random forests algorithm and its variants. However, to our knowledge, almost all existing works concerning random forests consistency in high dimensional setting were established for various modified random forests models where the splitting rules are independent of the response; a few exceptions assume simple data generating models with binary features. In light of this, in this paper we derive the consistency rates for the random forests algorithm associated with the sample CART splitting criterion, which is the one used in the original version of the algorithm, in a general high-dimensional nonparametric regression setting through a bias-variance decomposition analysis. Our new theoretical results show that random forests can indeed adapt to high dimensionality and allow for discontinuous regression function. Our bias analysis characterizes explicitly how the random forests bias depends on the sample size, tree height, and column subsampling parameter. Some limitations on our current results are also discussed.

연구 동기 및 목표

• 표본 크기와 함께 증가하는 특징 차원수를 고려한 고차원 설정에서 원래 랜덤 포레스트 알고리즘의 이론적 일치성 속도를 확립하기 위해.
• 편향-분산 분해 프레임워크를 사용하여 예측 오차의 편향 및 분산 성분을 분석하기 위해.
• 모델 복잡도 파라미터인 트리 높이와 열 샘플링이 수렴 속도에 미치는 영향을 규명하기 위해.
• 고차원 일치성 가능성을 보장하는 핵심 가정이 되는 충분한 불순도 감소(Sufficient Impurity Decrease, SID) 조건을 도입하고 그 타당성을 제시하기 위해.
• 응답값에 의존하지 않는 분할 규칙을 가진 단순화된 모델을 넘어서 랜덤 포레스트의 이론적 이해를 확장하기 위해.

제안 방법

• 예측 손실의 편향-분산 분해를 제안하여 근사 오차(편향)와 추정 분산을 별도로 분석한다.
• 각 특징 공간의 셀에서 충분한 양의 편향 감소를 보장하는 충분한 불순도 감소(Sufficient Impurity Decrease, SID) 조건을 도입한다.
• 표본 크기, 트리 높이, 열 샘플링 파라미터에 따른 편향의 의존성을 근사 오차에 대한 명시적 경계를 통해 분석한다.
• 셀 기반 분산 분해와 조건부 확률 추론을 사용하여 불순도 감소에 따라 추정 분산을 경계한다.
• 베르누이의 부등식과 기하 확률 추론을 적용하여 특징 좌표상의 점프 포인트 구성에 따라 다양한 설정에서 분산 경계를 정밀화한다.
• 서브셀의 구조와 분할 확률을 활용하여, 특정 셀 조건부에서 회귀 함수의 조건부 분산에 대한 통합 상한 경계를 유도한다.

실험 결과

연구 질문

• RQ1 CART 분할과 열 샘플링을 사용하는 원래 랜덤 포레스트 알고리즘이 고차원 비모수 회귀에서 일치성을 달성할 수 있는가?
• RQ2 고차원에서 랜덤 포레스트의 편향은 표본 크기, 트리 높이, 열 샘플링에 어떻게 의존하는가?
• RQ3 다항 수렴 속도를 보장하기 위해 필요한 회귀 함수와 특징 분포에 대한 조건은 무엇인가?
• RQ4 완전히 자라지 않은 트리가 존재하는 고차원 설정에서 랜덤 포레스트 추정기의 분산은 어떻게 행동하는가?
• RQ5 충분한 불순도 감소(Sufficient Impurity Decrease, SID) 조건이 이론적 일치성 가능성을 어떻게 보장하는가?

주요 결과

• SID 조건 하에서 특징 차원수가 표본 크기와 함께 다항적으로 증가하는 경우, 랜덤 포레스트 추정기는 다항 속도 일치성을 달성한다.
• 랜덤 포레스트의 편향은 표본 크기와 트리 높이가 증가할수록 감소하며, 더 큰 열 샘플링은 근사 정확도를 향상시켜 편향을 감소시킨다.
• 추정기의 분산은 유한하게 경계되며, 분할에 의한 불순도 감소에 따라 달라지며, 높은 확률로 셀을 효과적으로 분할하는 분할이 이루어질 경우 더 엄격한 제어가 가능하다.
• SID 조건은 각 분할에서 충분한 편향 감소가 가능함을 보장하여, 불연속 회귀 함수에 대해서도 수렴 속도 유도에 기여한다.
• 분석 결과, 랜덤 포레스트는 트리 깊이, 샘플링, 데이터 구조 간의 상호작용을 통해 고차원성에 적응하고 편향과 분산을 모두 제어할 수 있음을 밝혀냈다.
• 이론적 결과는 표준 CART 분할 규칙을 사용하는 일반적인 고차원 비모수 설정에서 원래 랜덤 포레스트 알고리즘에 대한 일치성 속도를 처음으로 확립했다.