[논문 리뷰] Early stopping for kernel boosting algorithms: A general analysis with localized complexities

Yuting Wei, Fanny Yang외 1명|arXiv (Cornell University)|2017. 07. 05.

Statistical Methods and Inference참고 문헌 32인용 수 13

한 줄 요약

이 논문은 커널 부스팅 알고리즘에서의 조기 정지와 국소화된 가우시안 복잡도 사이의 일반적인 이론적 연결을 수립하며, 반복적 갱신 과정에서 탐색하는 함수 클래스의 복잡도를 분석함으로써 최적의 정지 규칙을 도출할 수 있음을 보여준다. 소볼레프 및 기타 정규 커널 클래스의 경우, 제안된 데이터에 의존하는 정지 규칙이 최소 최대 최적 추정 속도를 달성한다.

ABSTRACT

Early stopping of iterative algorithms is a widely-used form of regularization in statistics, commonly used in conjunction with boosting and related gradient-type algorithms. Although consistency results have been established in some settings, such estimators are less well-understood than their analogues based on penalized regularization. In this paper, for a relatively broad class of loss functions and boosting algorithms (including L2-boost, LogitBoost and AdaBoost, among others), we exhibit a direct connection between the performance of a stopped iterate and the localized Gaussian complexity of the associated function class. This connection allows us to show that local fixed point analysis of Gaussian or Rademacher complexities, now standard in the analysis of penalized estimators, can be used to derive optimal stopping rules. We derive such stopping rules in detail for various kernel classes, and illustrate the correspondence of our theory with practice for Sobolev kernel classes.

연구 동기 및 목표

• 커널 부스팅에서의 조기 정지와 국소화된 가우시안 복잡도 사이의 이론적 프레임워크를 수립하기 위해.
• $L^2$-부스팅, 로짓부스팅, 아다부스팅을 포함한 광범위한 손실 함수 클래스에 대해 최적의 정지 규칙을 유도하기 위해.
• 소볼레프 커널과 같은 정규 커널 클래스에 대해 이러한 정지 규칙이 최소 최대 최적 추정 속도를 달성함을 보여주기 위해.
• 특히 복잡도 기반 분석 측면에서 조기 정지와 정규화된 회귀 간 이론적 이해 격차를 메우기 위해.

제안 방법

• 저자들은 $T$회 반복된 커널 부스팅이 탐색하는 효과적 함수 공간을 분석하며, 국소화된 가우시안 복잡도를 통해 그 크기를 기술한다.
• 국소화된 가우시안 폭을 사용하여 평균 추정자 $\bar{\theta}^T$의 비점근적 위험 한계를 도출하며, 추정 오차를 함수 클래스의 복잡도와 연결한다.
• 이 방법은 경험 과정 이론과 국소화된 복잡도의 고정점 분석에 기반하며, 기존에 정규화된 추정에 사용되던 도구를 조기 정지에까지 확장한다.
• 커널 클래스가 $\gamma$-지수적 또는 $\beta$-다항식 고유값 감쇠를 보일 경우, 국소화된 복잡도의 임계 반경을 유도하여 최적의 정지 시점을 결정한다.
• 정지 규칙은 데이터에 의존하며, 경험적 커널 행렬의 고유값에 기반하며 관측된 데이터로부터 계산 가능하다.
• 집중 부등식을 통해 이론적 보장을 확보하며, 추정 오차에 대한 고확률 한계를 제공한다.

실험 결과

연구 질문

• RQ1 정규화된 추정에서 사용되는 것과 유사한 국소화된 복잡도 측정치를 사용하여 커널 부스팅에서의 조기 정지를 이론적으로 정당화할 수 있는가?
• RQ2 반복적 부스팅 알고리즘의 정지 시점과 그가 탐색하는 함수 클래스의 국소화된 가우시안 복잡도 사이의 관계는 무엇인가?
• RQ3 국소화된 복잡도에서 도출된 조기 정지 규칙이 소볼레프 커널과 같은 커널 클래스에 대해 최소 최대 최적 속도를 달성하는가?
• RQ4 이론적 정지 규칙은 유한 표본 설정에서 실용적 성능과 어떻게 비교되는가?
• RQ5 평균 추정자 $\bar{\theta}^T$에 대해 도출된 최적성 결과를 정지된 추정자 $f^T$로 확장할 수 있는가?

주요 결과

• 고유값 감쇠가 $\gamma$-지수적일 경우, 최적의 정지 시점은 $T \asymp \frac{\log(n)^{1/\gamma}\sigma^2}{n}$로 스케일링되며, 높은 확률로 추정 오차 $\lesssim \left(\frac{1}{\alpha m} + \frac{1}{m^2}\right)\frac{\log^{1/\gamma}n}{n}\sigma^2$를 달성한다.
• $\beta$-다항식 감쇠($\mu_j \leq c_1 j^{-2\beta}$)의 경우, 최적의 정지 시점은 $T \asymp n^{-2\beta/(1+2\beta)}$이며, 높은 확률로 추정 오차 $\lesssim \left(\frac{1}{\alpha m} + \frac{1}{m^2}\right)\left(\frac{\sigma^2}{n}\right)^{2\beta/(2\beta+1)}$를 얻는다.
• 제안된 정지 규칙은 데이터에 의존하며 경험적 커널 행렬 고유값에서 계산 가능하므로 실용적 구현이 가능하다.
• 이론적으로 조기 정지가 국소화된 복잡도에 기반할 경우 정규 커널 클래스에 대해 최소 최대 최적 속도를 달성하며, 기존의 통계적 하한값과 일치함을 보여준다.
• 조기 정지와 국소화된 가우시안 복잡도 사이의 연결은 특정 알고리즘을 넘어서 $L^2$-부스팅, 로짓부스팅, 아다부스팅을 포함한 광범위한 손실 함수 클래스에 적용 가능한 원칙적인 일반 프레임워크를 제공한다.
• 시뮬레이션 결과는 이론적 예측과 유도된 정지 규칙의 경험적 성능 사이에 강력한 일치를 확인한다.