[논문 리뷰] Ensemble Trees and CLTs: Statistical Inference for Supervised Learning

Lucas Mentch, Giles Hooker|arXiv (Cornell University)|2014. 04. 25.

Machine Learning and Data Classification참고 문헌 22인용 수 22

한 줄 요약

이 논문은 부분 표본 추출을 통해 예측값을 U-통계량으로 모델링하여 앙상블 트리 방법에 대한 공식적인 통계적 추론 프레임워크를 제안한다. 이는 점 渐진적으로 정규 분포를 따르는 예측값과 신뢰구간을 가능하게 하며, 추가적인 계산 비용 없이 특성의 유의성 검정과 분산 추정을 지원한다. 이는 백싱과 랜덤 포레스트를 엄밀한 추론 능력으로 확장한다.

ABSTRACT

This work develops formal statistical inference procedures for machine learning ensemble methods. Ensemble methods based on bootstrapping, such as bagging and random forests, have improved the predictive accuracy of individual trees, but fail to provide a framework in which distributional results can be easily determined. Instead of aggregating full bootstrap samples, we consider predicting by averaging over trees built on subsamples of the training set and demonstrate that the resulting estimator takes the form of a U-statistic. As such, predictions for individual feature vectors are asymptotically normal, allowing for confidence intervals to accompany predictions. In practice, a subset of subsamples is used for computational speed; here our estimators take the form of incomplete U-statistics and equivalent results are derived. We further demonstrate that this setup provides a framework for testing the significance of features. Moreover, the internal estimation method we develop allows us to estimate the variance parameters and perform these inference procedures at no additional computational cost. Simulations and illustrations on a real dataset are provided.

연구 동기 및 목표

• 백싱과 랜덤 포레스트와 같은 앙상블 트리 방법에 대한 공식적인 통계적 추론 프레임워크를 개발하는 것.
• 기존의 전체 부트스트랩 표본에 의존하는 앙상블 방법에서 분포 결과의 부족을 해결하는 것.
• 부분 표본 추출을 통해 예측값과 특성 중요도에 대한 신뢰구간과 가설 검정을 가능하게 하는 것.
• 계산 효율성을 위해 일부 부분 표본만 사용할 경우 불완전한 U-통계량에 대한 등가 추론 결과를 도출하는 것.
• 추가적인 계산 부담 없이 내부적으로 분산 매개변수를 추정하는 것.

제안 방법

• 학습 데이터의 무작위 부분 표본에 기반한 트리를 평균화하여 앙상블 예측값을 U-통계량으로 모델링하며, 전체 부트스트랩 표본 대신 사용한다.
• 약한 정규 조건 하에서 예측값의 점 渐진적 정규성을 확립하여 신뢰구간을 가능하게 한다.
• 계산 효율성을 위해 일부 부분 표본만 사용할 경우 불완전한 U-통계량에 대한 등가 점 渐진적 결과를 도출하며 통계적 타당성을 유지한다.
• U-통계량의 구조를 활용하여 추론에 필요한 분산 매개변수를 내부적으로 추정함으로써 추가 계산을 피한다.
• 각 특성이 U-통계량 기반 예측에 기여하는 정도를 평가하여 개별 특성의 유의성 검정을 수행한다.
• 실험적 영향 함수와 허프딩의 분해를 활용하여 점 渐진적 분포와 분산 추정치를 도출한다.

실험 결과

연구 질문

• RQ1 부분 표본 추출에 기반한 앙상블 트리 예측값은 공식적으로 U-통계량으로 간주되어 통계적 추론이 가능한가?
• RQ2 부분 표본 추출 기반 앙상블 예측값의 점 渐진적 성질은 무엇이며, 여전히 정규 분포를 따르는가?
• RQ3 이 프레임워크를 사용하여 개별 예측값에 대해 신뢰구간을 신뢰성 있게 구성할 수 있는가?
• RQ4 이 U-통계량 기반 접근법을 통해 앙상블 트리에서 특성의 유의성을 검정할 수 있는가?
• RQ5 분산 매개변수를 추가적인 계산 비용 없이 내부적으로 추정할 수 있는가?

주요 결과

• 부분 표본에 기반한 앙상블 트리 예측값은 점 渐진적으로 정규 분포를 따르며, 유효한 신뢰구간을 구성할 수 있다.
• 프레임워크는 각 특성이 U-통계량에 기여하는 정도를 평가함으로써 특성 중요도에 대한 공식적 가설 검정을 지원한다.
• 추론에 필요한 분산 매개변수는 추가적인 계산 비용 없이 내부적으로 추정된다.
• 불완전한 U-통계량에 대한 이론적 결과는 일부 부분 표본만 사용할 경우에도 프레임워크의 타당성이 유지됨을 보장한다.
• 시뮬레이션과 실제 데이터 사례 분석을 통해 신뢰구간과 추론 절차의 경험적 타당성이 확인되었다.