[논문 리뷰] Optimization by gradient boosting

Gérard Biau, Benoı̂t Cadre|arXiv (Cornell University)|2017. 07. 17.

Statistical Methods and Inference인용 수 5

한 줄 요약

이 논문은 경사 부스팅에 대한 엄밀한 기능 최적화 프레임워크를 제공하며, 반복 횟수가 증가함에 따라 프리드먼의 알고리즘과 메이슨 등(2000)의 알고리즘이 수렴함을 증명한다. 강한 볼록성과 $L^2$ 페널티가 조건이 되면, 조기 정지 없이도 일致성과 통계적 정규화를 보장함을 밝힌다.

ABSTRACT

Gradient boosting is a state-of-the-art prediction technique that sequentially produces a model in the form of linear combinations of simple predictors---typically decision trees---by solving an infinite-dimensional convex optimization problem. We provide in the present paper a thorough analysis of two widespread versions of gradient boosting, and introduce a general framework for studying these algorithms from the point of view of functional optimization. We prove their convergence as the number of iterations tends to infinity and highlight the importance of having a strongly convex risk functional to minimize. We also present a reasonable statistical context ensuring consistency properties of the boosting predictors as the sample size grows. In our approach, the optimization procedures are run forever (that is, without resorting to an early stopping strategy), and statistical regularization is basically achieved via an appropriate $L^2$ penalization of the loss and strong convexity arguments.

연구 동기 및 목표

• 경사 부스팅 알고리즘을 $L^2$ 공간에서 분석하기 위한 통합된 기능 최적화 프레임워크를 수립하기 위해.
• 반복 횟수가 무한해질 때 경사 부스팅 반복값이 경험적 위험 기능의 최소화자로 거의 확실히 수렴함을 증명하기 위해.
• 강한 볼록성과 $L^2$ 페널티가 통계적 일치성과 정규화를 달성하는 데 미치는 역할을 명확히 하기 위해.
• 위험 기능이 강하게 볼록하고 적절히 페널티가 부여된 경우, 조기 정지를 필요로 하지 않고도 정규화를 달성할 수 있음을 보여주기 위해.
• XGBoost와 같은 시스템에서의 알고리즘적 선택, 예를 들어 목적 함수 정규화를 이론적으로 정당화하기 위해.

제안 방법

• 경사 부스팅을 힐버트 공간 내의 무한차원 볼록 최적화 문제로 공식화한다.
• 프리드먼(2001)과 메이슨 등(2000)의 두 주요 변형을 분석하며, $L^2$ 공간에서의 기능 강하를 사용한다.
• 일반적인 프레임워크를 도입하여, 볼록이고 미분 가능한 손실 함수의 반복적 최소화를 통한 수렴성을 연구한다.
• 위험 기능의 강한 볼록성을 활용해 최소화자의 유일성과 안정성을 보장한다.
• $L^2$ 페널티를 사용해 통계적 정규화를 달성하며, 조기 정지의 필요성을 대체한다.
• 더던의 부등식과 서브가우시안 과정 이론을 적용해 트리 분할로 정의된 함수 클래스에서의 경험 과정 편차를 근사한다.

실험 결과

연구 질문

• RQ1 반복 횟수가 증가함에 따라 경사 부스팅이 경험적 위험 기능의 최소화자로 수렴하기 위한 조건은 무엇인가?
• RQ2 위험 기능의 강한 볼록성이 경사 부스팅 알고리즘의 수렴성과 안정성에 미치는 영향는 어떠한가?
• RQ3 조기 정지를 사용하지 않고도 경사 부스팅에서 통계적 정규화를 달성할 수 있는가? 만약 가능하면, 어떻게 달성하는가?
• RQ4 $L^2$ 페널티가 표본 크기가 증가함에 따라 부스팅 예측자의 일치성을 확보하는 데 어떤 역할을 하는가?
• RQ5 경사 부스팅의 이론적 성질이 손실 함수의 선택과 기저 학습기의 구조에 따라 어떻게 달라지는가?

주요 결과

• 반복 횟수가 무한해질 때, 부스팅 반복값의 수열은 $L^2$ 노름에서 경험적 위험 기능의 최소화자로 거의 확실히 수렴한다.
• 위험 기능의 강한 볼록성은 수렴성과 해의 유일성을 보장하는 데 필수적이다.
• 표본 크기가 증가함에 따라 위험 기능이 강하게 볼록하고 손실 함수가 적절히 페널티가 부여된 경우, 부스팅 예측자의 통계적 일치성이 달성된다.
• 손실 함수의 $L^2$ 페널티는 유효한 정규화 형태로서, 일치성 확보를 위해 조기 정지가 필요하지 않음을 보여준다.
• 경험 과정 편차의 수렴 속도는 더던의 부등식을 통해 통제되며, 조건 $\frac{1}{\sqrt{nv_n\gamma_n}}\zeta\left(\sqrt{\frac{2\bar{\phi}}{v_n\gamma_n\inf_{\mathscr{X}}g}}\right)\to 0$ 가 만족될 경우 바ounds가 0으로 수렴한다.
• 이론적 프레임워크는 XGBoost의 설계 선택, 특히 과오차를 방지하기 위해 목적 함수에 정규화를 적용하는 방식을 이론적으로 정당화한다.