[논문 리뷰] Optimal Weighted Random Forests

Xinyu Chen, Dalei Yu외 1명|arXiv (Cornell University)|2023. 05. 17.

Statistical Methods and Inference인용 수 4

한 줄 요약

이 논문은 예측 성능에 따라 개별 트리에 적응적인 가중치를 부여하는 Mallows-유사 기준을 사용하여 회귀 과제에 대해 두 가지 최적 가중 전략—1단계 및 2단계 최적 가중 랜덤 포레스트—을 제안한다. 이 방법들은 제곱 오차 위험을 최소화하여 渐近 최적성을 확보하며, 실제 데이터셋에서 등가 가중 및 기존 가중 랜덤 포레스트보다 뛰어난 성능을 보인다.

ABSTRACT

The random forest (RF) algorithm has become a very popular prediction method for its great flexibility and promising accuracy. In RF, it is conventional to put equal weights on all the base learners (trees) to aggregate their predictions. However, the predictive performances of different trees within the forest can be very different due to the randomization of the embedded bootstrap sampling and feature selection. In this paper, we focus on RF for regression and propose two optimal weighting algorithms, namely the 1 Step Optimal Weighted RF (1step-WRF$_\mathrm{opt}$) and 2 Steps Optimal Weighted RF (2steps-WRF$_\mathrm{opt}$), that combine the base learners through the weights determined by weight choice criteria. Under some regularity conditions, we show that these algorithms are asymptotically optimal in the sense that the resulting squared loss and risk are asymptotically identical to those of the infeasible but best possible model averaging estimator. Numerical studies conducted on real-world data sets indicate that these algorithms outperform the equal-weight forest and two other weighted RFs proposed in existing literature in most cases.

연구 동기 및 목표

• 등가 가중 랜덤 포레스트의 열악한 성능을 해결하기 위해 개별 트리에 대한 예측 강도에 기반해 적응적인 가중치를 할당하는 것.
• 제곱 오차 위험을 최소화하는 데 있어 渐近 최적성을 달성하는 이론적으로 타당한 가중 전략을 개발하는 것.
• 이중 최적화 프레임워크를 통해 계산 비용을 줄이면서도 최적의 성능를 유지하는 것.
• 일般 기계학습에서의 모델 평균화 원칙을 랜덤 포레스트, 특히 회귀 과제에 확장하는 것.
• 기존 가중 랜덤 포레스트 방법에 대한 이론적으로 타당하고 계산적으로 효율적인 대안을 제공하는 것.

제안 방법

• 예측 오차를 최소화하기 위해 Mallows-유사 기준을 사용해 기본 학습기(트리)에 가중치를 할당하는 1step-WRF opt 및 2steps-WRF opt 두 알고리즘을 제안한다.
• 최적의 가중치를 결정하기 위해 이차 최적화 프레임워크를 사용하며, 이로 인해 유도된 추정기는 이론적으로 실현 불가능한 최상의 모델 평균화 추정기와 渐近적으로 동일한 성질을 가진다.
• 계산 부담을 줄이기 위해 최적화를 두 개의 이차 작업으로 제한하는 이중 알고리즘을 도입하여 확장성을 향상시킨다.
• 이종분산 오차 구조 하에서 이론적 성질을 확립하기 위해 조건부 기대값과 정규성 조건(C.1–C.4)을 활용한다.
• 渐近 최적성을 증명하기 위해 반복 기대의 법칙, 끌고 나오기 규칙, Lebesgue 지배 수렴 정리를 적용한다.
• 가중 추정기와 오라클 모델 간의 위험 비율에 대한 이론적 경계를 유도하며, 확률 수렴성을 보여준다.

실험 결과

연구 질문

• RQ1 랜덤 포레스트 내 개별 트리에 대한 적응적 가중치 할당이 등가 가중에 비해 회귀 성능 향상에 기여할 수 있는가?
• RQ2 모델 평균화 추정기 중 최상의 성능를 낼 수 있는 이론적으로 최적의 가중 전략을 구성할 수 있는가? 이는 최상의 가능 모델 평균화 추정기의 성능를 渐近적으로 일치시킨다.
• RQ3 가중 랜덤 포레스트 추정에서 이론적 최적성을 유지하면서도 계산 복잡도를 어떻게 줄일 수 있는가?
• RQ4 제안된 가중 전략이 실제 회귀 데이터셋에서 기존 가중 랜덤 포레스트 방법보다 예측 정확도에서 뛰어나게 성능을 발휘하는가?
• RQ5 이종분산 오차 하에서 가중 랜덤 포레스트 추정기의 渐近 최적성을 보장하는 이론적 조건은 무엇인가?

주요 결과

• 제안된 1step-WRF opt 및 2steps-WRF opt 방법은 渐近 최적성을 확보하며, 이는 위험 수렴이 실현 불가능한 최상의 모델 평균화 추정기의 위험에 도달함을 의미한다.
• 2steps-WRF opt 알고리즘은 오직 두 번의 이차 최적화 작업만을 요구함으로써 계산 비용을 줄여 대규모 포레스트에 대한 확장성을 확보한다.
• 12개의 UCI 데이터셋에 대한 수치 실험 결과, 두 제안 방법 모두 대부분의 경우 등가 가중 랜덤 포레스트 및 두 가지 기존 가중 랜덤 포레스트 방법보다 뛰어난 성능을 보였다.
• 이론적 분석을 통해 가중 추정기의 위험은 정규성 조건(이종분산 포함) 하에서 유계이며 최적의 위험으로 수렴함을 확인하였다.
• 이 방법들은 모형 오Specification에 대해 강건하며, 개별 트리의 예측 성능에 큰 격차가 있을 경우에도 강력한 성능 유지를 유지한다.
• 기본 접근법 대비 가중치 선택에 Mallows-유사 기준을 사용함으로써 평균 제곱 오차가 상당히 감소하였다.