[논문 리뷰] Stability of Random Forests and Coverage of Random-Forest Prediction Intervals

Yan Wang, Huaiqing Wu외 1명|arXiv (Cornell University)|2023. 10. 28.

Probabilistic and Robust Engineering Design인용 수 5

한 줄 요약

이 논문은 $Y^2$가 무거운 尾를 가지지 않는다는 약한 모멘트 조건 하에서 랜덤 포레스트의 이론적 안정성을 확립하며, 이로 인해 OOB 오차로부터 구성된 예측 구간에 대한 비점근적 커버리지 보장을 가능하게 한다. 이는 결과적으로 예측 구간의 커버리지 확률이 명목 수준 $1 - \alpha$에 매우 가까워지며, 표본 크기가 증가함에 따라 $1 - \alpha$로 수렴함을 보여준다.

ABSTRACT

We establish stability of random forests under the mild condition that the squared response ($Y^2$) does not have a heavy tail. In particular, our analysis holds for the practical version of random forests that is implemented in popular packages like exttt{randomForest} in exttt{R}. Empirical results show that stability may persist even beyond our assumption and hold for heavy-tailed $Y^2$. Using the stability property, we prove a non-asymptotic lower bound for the coverage probability of prediction intervals constructed from the out-of-bag error of random forests. With another mild condition that is typically satisfied when $Y$ is continuous, we also establish a complementary upper bound, which can be similarly established for the jackknife prediction interval constructed from an arbitrary stable algorithm. We also discuss the asymptotic coverage probability under assumptions weaker than those considered in previous literature. Our work implies that random forests, with its stability property, is an effective machine learning method that can provide not only satisfactory point prediction but also justified interval prediction at almost no extra computational cost.

연구 동기 및 목표

• 표준 구현 방식(예: R의 randomForest 패키지 등)에서 사용되는 실용적 랜덤 포레스트 알고리즘의 이론적 안정성을 확립하기 위해.
• 랜덤 포레스트의 경험적 성공과 이론적 이해 간 격차를 메우며, 특히 예측 구간의 타당성에 초점을 맞추기 위해.
• 표본 수가 무한에 가까워지지 않는 조건에서도 OOB 오차로부터 유도된 예측 구간에 대한 커버리지 상한을 제공함으로써, 최소한의 계산 비용으로 신뢰할 수 있는 간격 추정을 보장하기 위해.
• 안정성 특성을 활용하여 분포에 관계없이 추론하는 방법론을 랜덤 포레스트로 확장함으로써 이론적 근거를 강화하기 위해.
• 기존 문헌에서 요구된 것보다 더 약한 가정 하에서도 점근적 커버리지 행동을 조사하기 위해.

제안 방법

• 출력값이 유계인 배깅 추정기의 안정성을 기반으로 하며, 훈련 세트 $Y$-값에 기반한 조건부 출력 상한을 통해 랜덤 포레스트에 이를 적용한다.
• 확률적 이탈 상한을 도입한다: $\mathbb{P}(|\mathsf{RF}_B(X) - \mathsf{RF}_B^{\backslash i}(X)| > \varepsilon_{n,B}) \leq \nu_{n,B}$, 여기서 $\varepsilon_{n,B}, \nu_{n,B} \to 0$ 이다. $n, B \to \infty$ 일 때.
• 형태 $\mathsf{RF}_B(X) \pm \text{quantile of } \{R_i\}$ 인 예측 구간을 구성한다. 여기서 $R_i = |Y_i - \mathsf{RF}_B^{\backslash i}(X_i)|$.
• 집중 부등식과 CDF의 균일 등속성(Uniform equicontinuity)을 이용하여 커버리지 확률에 대한 비점근적 하한 및 상한을 유도한다.
• 유계 지배 정리와 극한 추론을 적용하여, 약간의 정규성 조건 하에서 점근적 커버리지가 $1 - \alpha$로 수렴함을 보여준다.
• 안정성을 활용하여 OOB 기반 예측 구간의 타당성을 정당화함으로써, $n$개의 별도의 한 개 제거 예측을 수행할 필요 없이도 된다.

실험 결과

연구 질문

• RQ1 단일 훈련 포인트를 생략했을 때 예측에 미치는 영향이 무시할 수 있을 정도로 작은 조건은 무엇인가? 즉, 랜덤 포레스트 예측기가 안정적인 조건은 무엇인가?
• RQ2 랜덤 포레스트의 OOB 오차로부터 유도된 예측 구간이 약한 모멘트 가정 하에서도 보장된 커버리지 확률을 달성할 수 있는가?
• RQ3 표본 크기가 증가함에 따라 OOB 기반 예측 구간의 비점근적 커버리지 상한은 어떻게 변화하는가?
• RQ4 Y^2의 경량 尾 조건을 얼마나 완화시켜도 안정성과 커버리지 보장을 유지할 수 있는가?
• RQ5 기존 연구에서 요구한 것보다 더 약한 가정 하에서 OOB 기반 예측 구간의 점근적 커버리지 확률은 어떻게 되는가?

주요 결과

• Y^2가 무거운 尾를 가지지 않는 조건 하에서 랜덤 포레스트는 안정적이다. $\mathbb{P}(|\mathsf{RF}_B(X) - \mathsf{RF}_B^{\backslash i}(X)| > \varepsilon_{n,B}) \leq \nu_{n,B}$, 여기서 $\varepsilon_{n,B}, \nu_{n,B} \to 0$ 이다. $n, B \to \infty$ 일 때.
• OOB 기반 예측 구간의 커버리지 확률은 $\mathbb{P}(|Y - \mathsf{RF}_B(X)| \leq q_{n,\alpha}\{R_i\} + \varepsilon_{n,B}) \geq 1 - \alpha - O(\sqrt{\nu_{n,B}})$ 를 만족하며, 이는 비점근적 하한을 제공한다.
• Y가 연속적이라는 추가 가정(에러가 모두 다를 수 있도록 보장) 하에서는 상한이 $\mathbb{P}(|Y - \mathsf{RF}_B(X)| \leq q_{n,\alpha}\{R_i\} - \varepsilon_{n,B}) \leq 1 - \alpha + \frac{1}{n+1} + O(\sqrt{\nu_{n,B}})$ 가 된다.
• 제시된 조건 하에서 점근적 커버리지 확률은 $1 - \alpha$로 수렴하며, $\lim_{n \to \infty} \mathbb{P}(R \leq q_{n,\alpha}\{R_i\}) = 1 - \alpha$ 이다.
• 수치적 증거는 Y가 Cauchy와 같이 무거운 尾를 가질 경우에도 안정성이 유지될 수 있음을 시사하지만, 이론적 분석에는 Y^2의 경량 尾 가정이 필요하다.
• 이 방법은 표준 랜덤 포레스트 학습 외에 거의 추가 비용 없이 유효하고 계산 비용이 적은 예측 구간을 제공한다.