[논문 리뷰] Standard Errors for Bagged Predictors and Random Forests

Stefan Wager, Trevor Hastie외 1명|arXiv (Cornell University)|2013. 11. 18.

Machine Learning and Algorithms인용 수 4

한 줄 요약

이 논문은 백트래킹 및 무작위 숲의 표준 오차를 계산적으로 효율적인 추정기로 개선하여 재표집 및 무한소자 추정기(IJ) 방법을 향상시킨다. 새로운 추정기들은 이전 방법에서 요구하던 O(n^1.5) 대비 O(n)의 재표본 수만으로도 수렴함을 보이며, IJ 추정기는 재표본 수가 재표집보다 1.7배 적게 필요로 하여 정밀도를 유지하면서도 계산 비용을 크게 감소시킨다.

ABSTRACT

We study the variability of predictions made by bagged learners and random forests, and show how to estimate standard errors for these methods. Our work builds on variance estimates for bagging proposed by Efron (1992, 2012) that are based on the jackknife and the infinitesimal jackknife (IJ). In practice, bagged predictors are computed using a finite number B of bootstrap replicates, and working with a large B can be computationally expensive. Direct applications of jackknife and IJ estimators to bagging require B on the order of n^{1.5} bootstrap replicates to converge, where n is the size of the training set. We propose improved versions that only require B on the order of n replicates. Moreover, we show that the IJ estimator requires 1.7 times less bootstrap replicates than the jackknife to achieve a given accuracy. Finally, we study the sampling distributions of the jackknife and IJ variance estimates themselves. We illustrate our findings with multiple experiments and simulation studies.

연구 동기 및 목표

• 백트래킹 예측기 및 무작위 숲에서 표준 오차 추정의 높은 계산 비용을 해결하기 위해
• 백팅에 적합한 기존 재표집 및 무한소자 추정기(IJ)의 분산 추정을 개선하여 필요한 재표본 수를 줄이기 위해
• IJ 추정기가 동일한 정확도를 달성하기 위해 재표본 크기 측면에서 재표집보다 더 효율적인지 입증하기 위해
• 재표집 및 IJ 방법이 생성한 분산 추정치의 표본 분포를 분석하기 위해
• 실제 응용에 적합한 실용적이고 확장 가능한 분산 추정 기법을 제공하기 위해

제안 방법

• 백트래킹 예측기 및 무작위 숲에 특화된 수정된 재표집 및 무한소자 추정기(IJ)를 제안하기 위해
• 이전 방법에서 O(n^1.5)가 필요로 했던 것과는 달리, 개선된 추정기가 오직 O(n)의 재표본 수로 수렴할 수 있는 이론적 조건을 도출하기 위해
• 영향 함수와 경험 과정 이론을 활용하여 새로운 추정기의 일致성과 효율성을 정당화하기 위해
• 다양한 재표본 크기에서 수렴 속도와 정확도를 비교하는 시뮬레이션 연구를 통해 추정기를 구현하고 검증하기 위해
• 추정치의 안정성과 신뢰성을 평가하기 위해 분산 추정치의 표본 분포를 분석하기 위해

실험 결과

연구 질문

• RQ1 백트래킹 예측기의 표준 오차 추정을 정확도를 희생시키지 않고 계산적으로 효율적으로 만들 수 있는가?
• RQ2 재표본 크기가 다양한 경우에 백트래킹 모델에 적용된 재표집 및 IJ 추정기의 수렴 속도는 어떻게 비교되는가?
• RQ3 개선된 재표집 및 IJ 방법을 사용할 때 신뢰할 수 있는 분산 추정을 위해 필요한 최소한의 재표본 수는 얼마인가?
• RQ4 유한한 재표본 크기 하에서 재표집 및 IJ 분산 추정치의 표본 분포는 어떻게 행동하는가?
• RQ5 IJ 추정기는 더 적은 재표본 수로도 재표집과 동일한 정확도를 달성할 수 있는가?

주요 결과

• 제안된 개선된 재표집 및 IJ 추정기는 이전 방법에서 요구하던 O(n^1.5) 대비 오직 O(n)의 재표본 수로도 수렴함을 보였다.
• IJ 추정기는 재표집과 동일한 정확도를 달성하기 위해 재표본 수가 1.7배 적게 필요로 하여 더 뛰어난 효율성을 입증하였다.
• 제안된 추정기 하에서 재표집 및 IJ 분산 추정치의 표본 분포는 근사적으로 정규 분포를 이룬다. 이는 추정치를 통계적 추론에 활용할 수 있음을 뒷받침한다.
• 시뮬레이션 연구를 통해 새로운 추정기들은 중간 크기의 재표본 수에서도 낮은 편향과 양호한 정밀도를 유지함을 확인하였다.
• 개선된 추정기들은 다양한 데이터 생성 메커니즘과 모델 복잡도에 대해 강건하여 실용적 구현에 적합하다.