[论文解读] Early stopping for kernel boosting algorithms: A general analysis with localized complexities

Yuting Wei, Fanny Yang+1 more|arXiv (Cornell University)|Jul 5, 2017

Statistical Methods and Inference参考文献 32被引用 13

一句话总结

本文建立了核提升算法中早停与局部高斯复杂度之间的通用理论联系，表明通过分析迭代更新过程中探索的函数类的复杂度，可以推导出最优停止规则。对于Sobolev核类及其他正则核类，所提出的依赖数据的停止规则可实现极小极大最优估计速率。

ABSTRACT

Early stopping of iterative algorithms is a widely-used form of regularization in statistics, commonly used in conjunction with boosting and related gradient-type algorithms. Although consistency results have been established in some settings, such estimators are less well-understood than their analogues based on penalized regularization. In this paper, for a relatively broad class of loss functions and boosting algorithms (including L2-boost, LogitBoost and AdaBoost, among others), we exhibit a direct connection between the performance of a stopped iterate and the localized Gaussian complexity of the associated function class. This connection allows us to show that local fixed point analysis of Gaussian or Rademacher complexities, now standard in the analysis of penalized estimators, can be used to derive optimal stopping rules. We derive such stopping rules in detail for various kernel classes, and illustrate the correspondence of our theory with practice for Sobolev kernel classes.

研究动机与目标

• 建立核提升中早停与局部高斯复杂度之间理论框架的联系。
• 为包括$L^2$-boost、LogitBoost和AdaBoost在内的广泛损失函数类推导最优停止规则。
• 证明这些停止规则对Sobolev核类等正则核类可实现极小极大最优估计速率。
• 弥合早停与惩罚正则化之间在复杂度分析方面的理论理解差距，特别是针对复杂度的分析。

提出的方法

• 作者分析了$T$轮核提升所探索的有效函数空间，通过局部高斯复杂度刻画其规模。
• 利用局部高斯宽度，为平均估计器$\bar{\theta}^T$推导出非渐近风险界，将估计误差与函数类的复杂度联系起来。
• 该方法依赖于经验过程理论和局部复杂度的不动点分析，将传统用于惩罚估计的工具扩展至早停场景。
• 对于具有$\gamma$-指数型或$\beta$-多项式型特征值衰减的核类，推导出局部复杂度的临界半径，以确定最优停止时间。
• 停止规则为依赖数据的，基于经验核矩阵的特征值，可从观测数据中计算得出。
• 通过浓度不等式建立理论保证，对估计误差提供高概率界。

实验结果

研究问题

• RQ1 能否使用类似于惩罚估计中所用的局部复杂度度量，对核提升中的早停进行理论上的合理性解释？
• RQ2 迭代提升算法的停止时间与它所探索的函数类的局部高斯复杂度之间存在何种关系？
• RQ3 基于局部复杂度推导出的早停规则是否对Sobolev核类等核类实现极小极大最优估计速率？
• RQ4 理论停止规则在有限样本设置下的实际性能表现如何？
• RQ5 能否将针对平均估计器$\bar{\theta}^T$的最优性结果推广到停止估计器$f^T$？

主要发现

• 对于具有$\gamma$-指数型特征值衰减的核类，最优停止时间满足$T \asymp \frac{\log(n)^{1/\gamma}\sigma^2}{n}$，以高概率实现估计误差$\lesssim \left(\frac{1}{\alpha m} + \frac{1}{m^2}\right)\frac{\log^{1/\gamma}n}{n}\sigma^2$。
• 对于$\beta$-多项式衰减（$\mu_j \leq c_1 j^{-2\beta}$），最优停止时间为$T \asymp n^{-2\beta/(1+2\beta)}$，以高概率实现估计误差$\lesssim \left(\frac{1}{\alpha m} + \frac{1}{m^2}\right)\left(\frac{\sigma^2}{n}\right)^{2\beta/(2\beta+1)}$。
• 所提出的停止规则为依赖数据的，且可从经验核矩阵的特征值中计算得出，具备实际可实施性。
• 理论表明，基于局部复杂度的早停可对正则核类实现极小极大最优估计速率，与已知的统计下界一致。
• 早停与局部高斯复杂度之间的联系提供了一个原则性、通用的框架，不仅适用于特定算法，还可推广至包括$L^2$-boost、LogitBoost和AdaBoost在内的广泛损失函数类。
• 模拟实验结果证实，理论预测与所推导停止规则的实际性能高度一致。