[논문 리뷰] Quantifying Uncertainty in Random Forests via Confidence Intervals and Hypothesis Tests

Lucas Mentch, Giles Hooker|arXiv (Cornell University)|2014. 04. 25.

Machine Learning and Data Classification참고 문헌 31인용 수 157

한 줄 요약

이 논문은 랜덤 포레스트에서 공식적인 통계적 추론을 가능하게 하기 위한 프레임워크를 제안한다. 하위표본 기반의 앙상블 예측을 U-통계량으로 간주함으로써 점점 정규분포에 수렴하는 예측과 일致한 분산 추정이 가능해지며, 추가적인 계산 비용 없이 신뢰구간 계산과 기능 유의성에 대한 가설 검정을 수행할 수 있다.

ABSTRACT

This work develops formal statistical inference procedures for machine learning ensemble methods. Ensemble methods based on bootstrapping, such as bagging and random forests, have improved the predictive accuracy of individual trees, but fail to provide a framework in which distributional results can be easily determined. Instead of aggregating full bootstrap samples, we consider predicting by averaging over trees built on subsamples of the training set and demonstrate that the resulting estimator takes the form of a U-statistic. As such, predictions for individual feature vectors are asymptotically normal, allowing for confidence intervals to accompany predictions. In practice, a subset of subsamples is used for computational speed; here our estimators take the form of incomplete U-statistics and equivalent results are derived. We further demonstrate that this setup provides a framework for testing the significance of features. Moreover, the internal estimation method we develop allows us to estimate the variance parameters and perform these inference procedures at no additional computational cost. Simulations and illustrations on a real dataset are provided.

연구 동기 및 목표

• 예측에 대한 공식적인 통계적 추론 절차를 감독 학습 앙상블, 특히 랜덤 포레스트에 대해 개발하기 위해.
• 백싱 및 랜덤 포레스트에서 일반적으로 점추정치만 제공하기 때문에 불확실성 정량화의 부재를 해결하기 위해.
• 원칙적인 통계적 프레임워크를 통해 개별 예측에 대한 신뢰구간과 기능 유의성에 대한 가설 검정을 가능하게 하기 위해.
• 약한 정규성 조건 하에서 하위표본 기반 앙상블 방법이 점점 정규분포에 수렴하는 예측을 제공함을 보여주기 위해.
• 표준 훈련 이외에 추가 계산 비용 없이 일致한 내부 분산 추정을 제공하기 위해.

제안 방법

• 훈련 데이터의 하위표본(복원 없이)으로 훈련된 트리의 앙상블로 랜덤 포레스트를 재정의함으로써, 전체 부트스트랩 샘플이 아닌 하위표본을 사용함.
• 결과로 도출된 예측 추정량이 U-통계량임을 보이며, Hoeffding의 이론을 활용하여 점점 정규분포에 수렴함을 입증함.
• 약한 정규성 조건 하에서 예측의 점점 정규분포 수렴성을 도출함으로써, 표준 정규분포 분위수를 이용한 신뢰구간 구축이 가능해짐.
• 앙상블의 내부 구조를 활용하여 점점 정규분포에 수렴하는 분산을 일치된 추정함으로써, 추가적인 모델 피팅이나 재표본 추출이 필요 없음.
• 전체 모델과 특정 기능을 순열하거나 제거한 모델의 예측을 비교하여 기능 유의성에 대한 검정 통계량을 구성함.
• 계산 효율성을 확보하기 위해 유한하고 고정된 수의 하위표본을 사용하는 실용적 구현을 위해 불완전한 U-통계량 이론을 적용함.

실험 결과

연구 질문

• RQ1 비모수적이고 알고리즘적인 성격을 지닌 랜덤 포레스트의 예측에 대해 공식적인 통계적 추론을 수행할 수 있는가?
• RQ2 하위표본 기반 앙상블 방법(Subbagging)의 예측이 신뢰구간을 지원할 수 있는 알려진 점점 정규분포 수렴 분포를 갖는가?
• RQ3 동일한 기초 통계적 구조를 기반으로 하여 랜덤 포레스트 프레임워크 내에서 기능 유의성에 대한 가설 검정을 구성할 수 있는가?
• RQ4 추가 계산 비용 없이 예측의 분산을 일치된 방식으로 추정할 수 있는가?
• RQ5 실제 응용에서 제안된 추론 프레임워크의 성능이 표준 랜덤 포레스트 예측과 비교해 어떻게 되는가?

주요 결과

• 약한 정규성 조건 하에서 하위표본 기반 랜덤 포레스트의 예측은 점점 정규분포에 수렴하므로, 표준 정규분포 분위수를 이용한 신뢰구간 구축이 가능하다.
• 예측의 분산은 앙상블의 내부 구조를 활용하여 일치된 방식으로 추정되며, 훈련 이외에 추가 계산 비용이 전혀 발생하지 않는다.
• 특정 기능이 있는 모델과 없는 모델의 예측을 비교하여 기능 유의성에 대한 가설 검정이 가능하며, p-값은 검정 통계량의 점점 정규분포 수렴성에서 유도된다.
• eBird 데이터셋에서 월과 연도 모두 새의 개체 수에 대해 통계적으로 유의미한 예측 변수로 밝혀졌으며, 각각 검정 통계량은 109.72였다.
• 유한한 수의 하위표본을 사용하는 경우에도 성능이 우수한데, 불완전한 U-통계량 이론이 실용적 구현 제약 조건 하에서도 타당한 추론을 보장하기 때문이다.
• 이 프레임워크는 랜덤 포레스트와 트리 기반 학습기만을 위한 것이 아니라, U-통계량 수렴 조건을 만족하는 모든 감독 학습 앙상블 방법에 일반적으로 적용 가능하다.