[논문 리뷰] Boulevard: Regularized Stochastic Gradient Boosted Trees and Their Limiting Distribution

Yichen Zhou, Giles Hooker|arXiv (Cornell University)|2018. 06. 26.

Statistical Methods and Inference참고 문헌 36인용 수 8

한 줄 요약

이 논문은 회귀 분석을 위한 정규화된 확률적 경사 부스팅 프레임워크인 Boulevard을 소개한다. 이는 부분 표본 추출, 수축, 앙상블 평균화를 조합하여 수렴성과 점근적 정규성을 보장한다. 주요 기여는 Boulevard 예측에 대한 중심극한정리로, 재현 가능한 예측 구간을 통한 타당한 불확실성 정량화를 가능하게 한다.

ABSTRACT

This paper examines a novel gradient boosting framework for regression. We regularize gradient boosted trees by introducing subsampling and employ a modified shrinkage algorithm so that at every boosting stage the estimate is given by an average of trees. The resulting algorithm, titled Boulevard, is shown to converge as the number of trees grows. We also demonstrate a central limit theorem for this limit, allowing a characterization of uncertainty for predictions. A simulation study and real world examples provide support for both the predictive accuracy of the model and its limiting behavior.

연구 동기 및 목표

• 예측 정확도를 넘는 통계적 추론을 가능하게 하는 이론적으로 탄탄한 경사 부스팅 프레임워크를 개발하기 위해.
• 경사 부스팅 트리에 대한 점근적 분포 이론의 부재로 인해 불확실성 정량화가 제한됨을 해결하기 위해.
• 순차적 의존성과 트리 간 상관관계를 극복함으로써 랜덤 포레스트의 추론 프레임워크를 경사 부스팅으로 확장하기 위해.
• 경사 부스팅이 수렴하고 예측이 점근적으로 정규분포를 띠게 되는 조건을 확립하기 위해.
• Boulevard 추정치의 점근적 분포를 이용한 예측 구간을 구성하는 실용적인 방법을 제공하기 위해.

제안 방법

• Boulevard는 각 부스팅 반복 단계에서 부분 표본 추출을 사용하여 상관관계를 감소시키고 안정성을 향상시킨다.
• 트리들을 반복 단계 동안 평균화하는 수정된 수축 업데이트 규칙을 사용한다: $\hat{f}_{b+1} = \frac{\lambda}{b} \sum_{i=1}^{b} t_i$, 이는 앙상블 평균화를 보장한다.
• 수렴성을 유지하면서 점근적 정규성을 확보하기 위해 학습률 $\lambda$는 비교적 높게 유지한다(1에 가까운 값).
• 최종 예측은 평균화 효과를 보정하기 위해 $\frac{1+\lambda}{\lambda}$로 재스케일링된다.
• 제한 분포는 U통계량 유사 구조와 투영 추론을 활용하여 도출되며, 평균화 메커니즘을 활용한다.
• 스토캐스틱 분산은 앙상블에서 경험적으로 추정되며, 공분산 행렬의 보수적 근사치를 사용하여 재현 가능한 구간이 구성된다.

실험 결과

연구 질문

• RQ1 순차적 트리 의존성에도 불구하고 정규화된 경사 부스팅 프레임워크가 수렴성과 점근적 정규성을 달성할 수 있는가?
• RQ2 Boulevard 예측의 점근적 분포를 보장하기 위해 트리 구성과 부분 표본 추출에 필요한 조건은 무엇인가?
• RQ3 경사 부스팅 트리에 대해 예측 구간을 통한 불확실성 정량화가 신뢰성 있게 구성될 수 있는가?
• RQ4 Boulevard의 평균화 구조는 통계적 성질 측면에서 랜덤 포레스트의 그것과 어떻게 비교되는가?
• RQ5 부분 표본 추출과 수축은 Boulevard 예측의 분산과 편향에 어떤 영향을 미치는가?

주요 결과

• 데이터와 트리 구성에 대한 온건한 정규성 조건 하에서, 트리 수가 증가함에 따라 Boulevard 예측은 거의 확실히 수렴한다.
• Boulevard 예측의 점근적 분포는 점근적으로 정규분포를 띠며, 타당한 통계적 추론이 가능하다.
• 시뮬레이션 연구 결과, 다양한 오차 분포(Gaussian, uniform, Rademacher) 하에서 테스트 포인트의 예측 분포가 정규분포와 구분되지 않는 것으로 확인되었다.
• 정리 4.2를 사용하여 구성한 재현 가능한 구간은 양호한 커버리지 성능을 보였으며, 경계 효과로 인해 초입방체 경계 근처에서 중심에 일관된 편향이 관찰되었다.
• 핵 리지드 회귀와 유사한 MSE를 보이며, 예측 성능는 유사한 수준을 기록했다.
• 제안된 조건 하에서 스토캐스틱 분산 항목은 확률 수렴을 보였으며, 이는 불확실성 정량화의 이론적 기반을 지지한다.