[论文解读] AdaBoost and Forward Stagewise Regression are First-Order Convex Optimization Methods

Robert M. Freund, Paul Grigas+1 more|arXiv (Cornell University)|Jul 4, 2013

Sparse and Compressive Sensing Techniques参考文献 22被引用 13

一句话总结

本文证明了AdaBoost和增量前向分段回归（FSε）是镜像下降算法的特定实例，这是一种一阶凸优化方法。通过利用这一联系，作者为这两种算法推导出新的计算复杂度界，包括最大边缘化的收敛速率以及通过对偶间隙分析实现的最优性间隙控制，且对任意步长序列均提供精确保证。

ABSTRACT

Boosting methods are highly popular and effective supervised learning methods which combine weak learners into a single accurate model with good statistical performance. In this paper, we analyze two well-known boosting methods, AdaBoost and Incremental Forward Stagewise Regression (FS$_\varepsilon$), by establishing their precise connections to the Mirror Descent algorithm, which is a first-order method in convex optimization. As a consequence of these connections we obtain novel computational guarantees for these boosting methods. In particular, we characterize convergence bounds of AdaBoost, related to both the margin and log-exponential loss function, for any step-size sequence. Furthermore, this paper presents, for the first time, precise computational complexity results for FS$_\varepsilon$.

研究动机与目标

• 建立AdaBoost与前向分段回归（FSε）和一阶凸优化方法之间的正式联系。
• 利用镜像下降框架，为AdaBoost和FSε推导新的计算复杂度保证。
• 在任意步长规则下，为AdaBoost中的最大边缘化提供精确的收敛界。
• 刻画FSε在最小二乘回归中逼近一阶最优性条件的速率。
• 阐明步长选择在收敛行为中的作用，解决先前文献中看似矛盾的问题。

提出的方法

• 通过原始对偶极小极大公式，将AdaBoost和FSε映射为镜像下降算法的特定实例。
• 将对偶间隙用作最大边缘化问题中最优性间隙的代理，并为常数步长推导出√(2 ln m / (k+1))的界。
• 应用镜像下降理论，推导对数指数损失函数的收敛速率，建立边缘与梯度范数之间的联系。
• 将FSε中的残差空间表述为带有ℓ2近端函数的次梯度下降问题，从而实现复杂度分析。
• 通过损失函数的Lipschitz连续性与Bregman散度分析，推导计算复杂度界。
• 在FSε分析中，使用算子范数‖X‖₁,₂作为最小二乘损失的Lipschitz常数。

实验结果

研究问题

• RQ1 AdaBoost和FSε与镜像下降等一阶凸优化方法有何关系？
• RQ2 在任意步长序列下，能否为AdaBoost在最大边缘化过程中的计算复杂度提供保证？
• RQ3 能否在最小二乘回归背景下为FSε建立精确的收敛速率？
• RQ4 为何在某些步长下AdaBoost可能无法收敛到最大边缘解，尽管其结构上适合该问题？
• RQ5 极小极大公式中的对偶间隙如何与最大边缘化和损失最小化中的最优性间隙相关联？

主要发现

• AdaBoost与镜像下降算法在原始对偶问题（边缘最小化与边缘最大化）中完全等价于特定实例。
• 对于任意步长序列，AdaBoost中的对偶间隙被限制在√(2 ln m / (k+1))以内，从而为边缘最大化提供收敛保证。
• 在可分数据情况下，对偶间隙可直接界定最大边缘解的最优性间隙。
• 在不可分数据情况下，边缘f(wᵏ)等于对数指数损失梯度的ℓ∞-范数，其范数可通过对偶间隙界定。
• 首次对FSε的计算复杂度进行了刻画，当采用合适步长时，其收敛至一阶最优性条件的速率被限制在O(1/√k)。
• 通过选择ε和迭代次数k，该方法在稀疏性、正则化和计算复杂度之间实现平衡，且无需预先知晓最小二乘解βLS。