[论文解读] High-Dimensional $L_2$Boosting: Rate of Convergence

Ye Luo, Martin Spindler+1 more|arXiv (Cornell University)|Feb 29, 2016

Blind Source Separation Techniques被引用 20

一句话总结

本文建立了高维稀疏回归模型中 $L_2$ Boosting 的收敛速率，引入了后 $L_2$ Boosting 和正交 $L_2$ Boosting 两种变体，其收敛速率与 LASSO 相同。研究分析了 $L_2$ Boosting 中的重复选择行为，并推导出依赖于设计矩阵稀疏特征值结构的收敛边界。

ABSTRACT

Boosting is one of the most significant developments in machine learning. This paper studies the rate of convergence of $L_2$Boosting, which is tailored for regression, in a high-dimensional setting. Moreover, we introduce so-called extquotedblleft post-Boosting extquotedblright. This is a post-selection estimator which applies ordinary least squares to the variables selected in the first stage by $L_2$Boosting. Another variant is extquotedblleft Orthogonal Boosting extquotedblright\ where after each step an orthogonal projection is conducted. We show that both post-$L_2$Boosting and the orthogonal boosting achieve the same rate of convergence as LASSO in a sparse, high-dimensional setting. We show that the rate of convergence of the classical $L_2$Boosting depends on the design matrix described by a sparse eigenvalue constant. To show the latter results, we derive new approximation results for the pure greedy algorithm, based on analyzing the revisiting behavior of $L_2$Boosting. We also introduce feasible rules for early stopping, which can be easily implemented and used in applied work. Our results also allow a direct comparison between LASSO and boosting which has been missing from the literature. Finally, we present simulation studies and applications to illustrate the relevance of our theoretical results and to provide insights into the practical aspects of boosting. In these simulation studies, post-$L_2$Boosting clearly outperforms LASSO.

研究动机与目标

• 建立经典 $L_2$ Boosting 在高维稀疏回归设定下的收敛速率。
• 分析 $L_2$ Boosting 中的重复选择行为，即变量在多轮迭代中被反复选取的现象。
• 提出并分析两种新变体：后 $L_2$ Boosting（对 $L_2$ Boosting 选取的变量进行 OLS 估计）与正交 $L_2$ Boosting（每一步进行正交投影以保证残差与已选变量正交）。
• 推导依赖于设计矩阵稀疏特征值结构的收敛速率理论边界。
• 提供可行且可实施的早期停止规则，以实现最优的理论性能。

提出的方法

• 分析纯贪婪算法（PGA），并提出对 $L_2$ Boosting 中重复选择行为的新型分析方法，以推导收敛边界。
• 提出后 $L_2$ Boosting，即在 $L_2$ Boosting 迭代过程中选取的变量上应用 OLS 估计器。
• 提出正交 $L_2$ Boosting，其在每一步中通过正交投影确保残差与先前选择的变量正交。
• 利用稀疏特征值条件（受限特征值常数）来界定 $L_2$ Boosting 的收敛速率。
• 基于理论收敛边界推导出一种新的早期停止规则，旨在实际有限样本中具有可行性与有效性。
• 在稀疏性假设下采用高维渐近分析，通过浓度不等式与经验过程技术推导概率边界。

实验结果

研究问题

• RQ1 经典 $L_2$ Boosting 在高维稀疏模型中的收敛速率是多少？其依赖于设计矩阵的何种结构？
• RQ2 $L_2$ Boosting 中的重复选择行为如何影响其收敛速率与变量选择模式？
• RQ3 后 $L_2$ Boosting 与正交 $L_2$ Boosting 是否能在高维设定下实现与 LASSO 相同的最优收敛速率？
• RQ4 $L_2$ Boosting 中早期停止的理论依据是什么？如何在实践中有效实施？
• RQ5 $L_2$ Boosting 的理论收敛速率与 LASSO 相比如何？在何种条件下二者一致？

主要发现

• 经典 $L_2$ Boosting 的收敛速率依赖于设计矩阵的稀疏特征值结构，特别是与最小与最大受限特征值相关的常数。
• 后 $L_2$ Boosting 与正交 $L_2$ Boosting 在稀疏高维模型中均能达到与 LASSO 相同的最优收敛速率。
• $L_2$ Boosting 的收敛速率通常慢于 LASSO，除非设计矩阵满足有利的稀疏特征值条件。
• 理论分析表明，$L_2$ Boosting 中重复选择的频率与设计矩阵结构相关，并影响收敛速度。
• 提出了一种可行的早期停止规则，可达到最优理论收敛边界，并在模拟中表现良好。
• 以高概率，在足够大的 $K$ 下，所有真正相关的变量（真实系数向量的支撑集）均能在 $Ks$ 步内被选中，从而保证一致的变量选择。