[论文解读] A Constructive Approach to High-dimensional Regression

Jian Huang, Yuling Jiao+2 more|arXiv (Cornell University)|Jan 18, 2017

Stochastic Gradient Optimization Techniques被引用 3

一句话总结

该论文提出SDAR，一种用于高维稀疏线性回归的构造性算法，通过迭代检测支持集并基于ℓ₀-惩罚最小二乘法的KKT条件求解根查找问题。在稀疏性和相干性条件下，其ℓ₂和ℓ∞估计误差实现指数衰减，分别在O(√J log R)和O(log R)步内收敛，且在已知稀疏性水平时可精确恢复Oracle估计器，每次迭代的计算成本为O(np)。

ABSTRACT

We develop a constructive approach to estimating sparse, high-dimensional linear regression models. The approach is a computational algorithm motivated from the KKT conditions for the $\ell_0$-penalized least squares solutions. It generates a sequence of solutions iteratively, based on support detection using primal and dual information and root finding. We refer to the algorithm as SDAR for brevity. Under a sparse Rieze condition on the design matrix and certain other conditions, we show that with high probability, the $\ell_2$ estimation error of the solution sequence decays exponentially to the minimax error bound in $O(\sqrt{J}\log(R))$ steps; and under a mutual coherence condition and certain other conditions, the $\ell_{\infty}$ estimation error decays to the optimal error bound in $O(\log(R))$ steps, where $J$ is the number of important predictors, $R$ is the relative magnitude of the nonzero target coefficients. Computational complexity analysis shows that the cost of SDAR is $O(np)$ per iteration. Moreover the oracle least squares estimator can be exactly recovered with high probability at the same cost if we know the sparsity level. We also consider an adaptive version of SDAR to make it more practical in applications. Numerical comparisons with Lasso, MCP and greedy methods demonstrate that SDAR is competitive with or outperforms them in accuracy and efficiency.

研究动机与目标

• 解决高维回归中ℓ₀-惩罚最小二乘法的计算挑战，该问题为NP难问题。
• 开发一种稳定且高效的算法，以逼近稀疏解，且不依赖Lasso等凸松弛方法。
• 在稀疏性和相干性条件下，实现快速收敛并具备估计误差衰减的理论保证。
• 在已知稀疏性水平时，实现对Oracle最小二乘估计器的精确恢复。
• 通过结合支持集检测与原始-对偶根查找，改进现有方法，在准确性和效率方面实现提升。

提出的方法

• 提出SDAR（支持集检测与根查找）算法，其灵感来源于ℓ₀-惩罚最小二乘法的KKT条件。
• 通过当前迭代的原始和对偶信息，迭代检测真实系数向量的支持集。
• 在每一步求解根查找问题以精炼解，确保收敛至稀疏解。
• 引入稀疏Rieze条件和互相关性条件作为理论假设，以保证收敛速率。
• 提出SDAR的自适应版本，以在无需先验稀疏性知识的情况下提升实际性能。
• 分析计算复杂度，表明每次迭代的计算成本为O(np)，使其在高维设置下具备可扩展性。

实验结果

研究问题

• RQ1 基于非凸ℓ₀方法的高维回归能否实现快速且稳定的收敛，并具备理论误差界？
• RQ2 在稀疏性和相干性假设下，所提出的算法SDAR是否在ℓ₂和ℓ∞估计误差上实现指数衰减？
• RQ3 当真实稀疏性水平已知时，SDAR能否精确恢复Oracle最小二乘估计器？
• RQ4 在数值实验中，SDAR与Lasso、MCP及贪婪方法相比，在准确性和效率方面表现如何？
• RQ5 SDAR的计算成本是多少？其在高维设置下是否具备高效的可扩展性？

主要发现

• 在稀疏Rieze条件下，SDAR的ℓ₂估计误差在O(√J log R)步内指数衰减至极小化误差界，其中J为重要预测变量的数量。
• 在互相关性条件下，ℓ∞估计误差在O(log R)步内衰减至最优误差界，其中R为非零系数的相对大小。
• 当稀疏性水平s已知时，SDAR以高概率精确恢复Oracle最小二乘估计器，每次迭代的计算成本为O(np)。
• SDAR的计算复杂度为每次迭代O(np)，使其在大p和n下具备可扩展性。
• 数值比较显示，SDAR在准确性和效率方面与Lasso、MCP及贪婪方法相比具有竞争力或更优表现。
• SDAR的自适应版本通过动态调整阈值，无需先验稀疏性知识，显著提升了实际性能。