[논문 리뷰] Confidence Intervals for Random Forests: The Jackknife and the Infinitesimal Jackknife

Stefan Wager, Trevor Hastie외 1명|arXiv (Cornell University)|2013. 11. 18.

Statistical Methods and Inference참고 문헌 24인용 수 301

한 줄 요약

이 논문은 랜덤 포레스트와 백스태핑 학습기에서 분산 추정을 위한 개선된 잭나이프 및 무한소 잭나이프(IJ) 추정기들을 제안하며, 표준 부트스트랩 복제 수에서 필요로 하는 복제 수를 $\Theta(n^{1.5})$ 에서 $\Theta(n)$ 으로 감소시킨다. IJ 추정기는 동일한 정확도를 확보하기 위해 잭나이프보다 1.7배 적은 복제 수가 필요하다. Monte Carlo 노이즈를 완화하기 위해 편향 보정 버전을 도입하였으며, 표준 오차 추정을 통해 신뢰구간을 제공한다.

ABSTRACT

We study the variability of predictions made by bagged learners and random forests, and show how to estimate standard errors for these methods. Our work builds on variance estimates for bagging proposed by Efron (1992, 2012) that are based on the jackknife and the infinitesimal jackknife (IJ). In practice, bagged predictors are computed using a finite number B of bootstrap replicates, and working with a large B can be computationally expensive. Direct applications of jackknife and IJ estimators to bagging require B on the order of n^{1.5} bootstrap replicates to converge, where n is the size of the training set. We propose improved versions that only require B on the order of n replicates. Moreover, we show that the IJ estimator requires 1.7 times less bootstrap replicates than the jackknife to achieve a given accuracy. Finally, we study the sampling distributions of the jackknife and IJ variance estimates themselves. We illustrate our findings with multiple experiments and simulation studies.

연구 동기 및 목표

• 표준 잭나이프 및 IJ 방법을 사용할 경우 백스태핑 학습기와 랜덤 포레스트에서 분산 추정의 높은 계산 비용을 해결하기 위해.
• 분산 추정기 수렴을 위해 필요로 하는 부트스트랩 복제 수를 $\Theta(n^{1.5})$ 에서 $\Theta(n)$ 으로 감소시키기 위해.
• 유한한 부트스트랩 복제 수로 인해 분산 추정치가 과대평가되는 Monte Carlo 편향을 보정하기 위해.
• 유한 표본 설정에서 잭나이프와 IJ 추정기의 효율성과 표본 편향을 비교하기 위해.
• 추가 계산 없이도 기존 부트스트랩 복제 수를 활용하여 랜덤 포레스트 예측에 대한 신뢰구간을 신뢰성 있게 제공하기 위해.

제안 방법

• Monte Carlo 편향을 줄이기 위해 잭나이프 및 무한소 잭나이프(IJ) 추정기의 편향 보정 버전을 개발한다.
• 잭나이프와 IJ 분산 추정치의 산술 평균을 취하는 새로운 추정기를 도입하여 거의 편향이 없는 성능를 달성한다.
• 부트스트랩 복제 수에 대한 영향 함수를 활용하여 무한소 잭나이프를 통해 분산 추정을 더 효율적으로 수행한다.
• 잭나이프-이전 부트스트랩 프레임워크를 적용하여 추가 계산 없이도 기존 부트스트랩 복제 수로부터 표준 오차를 추정한다.
• IJ 추정기 자체의 표본 분산을 추정하는 방법을 제안하여 그 신뢰성 평가를 가능하게 한다.
• 자료집합 여러 개(예: Auto MPG, 콜레스테롤, 스팸, 캘리포니아 주택)에서의 시뮬레이션 연구를 통해 이론적 결과를 검증한다.

실험 결과

연구 질문

• RQ1 랜덤 포레스트 분산에 대한 잭나이프 및 IJ 추정기는 복제 수를 더 줄일 수 있을까?
• RQ2 Monte Carlo 노이즈는 잭나이프 및 IJ 분산 추정치의 정확도에 어떤 영향을 미치며, 이를 보정할 수 있을까?
• RQ3 같은 정확도를 확보하기 위해 IJ 추정기가 잭나이프 대비 얼마나 효율적인가? (필요한 부트스트랩 복제 수 기준)
• RQ4 평균화 또는 보정을 통해 잭나이프 및 IJ 추정기의 표본 편향을 줄일 수 있을까?
• RQ5 제안된 분산 추정치는 랜덤 포레스트 예측에 대해 정확한 신뢰구간으로 얼마나 잘 변환되는가?

주요 결과

• 제안된 편향 보정 잭나이프 및 IJ 추정기는 $B = \Theta(n)$ 부트스트랩 복제 수에서 수렴하며, 계산 비용을 $\Theta(n^{1.5})$ 에서 감소시킨다.
• 동일한 정확도를 확보하기 위해 IJ 추정기는 잭나이프보다 1.7배 적은 부트스트랩 복제 수가 필요하다.
• 잭나이프와 IJ 분산 추정치의 산술 평균은 개별 추정기에서 관찰되는 상향 및 하향 편향을 모두 완화하여 거의 편향이 없는 성능를 보인다.
• Monte Carlo 편향은 표준 잭나이프 및 IJ 추정기에서 주요 오차 원인이며, 제안된 편향 보정은 정확도를 크게 향상시킨다.
• 이 방법은 랜덤 포레스트 예측에 대해 안정적인 신뢰구간을 생성한다. Auto MPG 데이터셋에서 오차 막대가 예측 불확실성을 반영하고 예측 오차와 상관관계를 보임을 입증하였다.
• 합성 및 실세계 데이터셋(예: 전립선 암, 스팸, 캘리포니아 주택)에서의 시뮬레이션 연구를 통해 다양한 환경에서 제안된 추정기의 강건성과 정확성이 확인되었다.