[论文解读] Global and Quadratic Convergence of Newton Hard-Thresholding Pursuit

Shenglong Zhou, Naihua Xiu+1 more|arXiv (Cornell University)|Jan 9, 2019

Sparse and Compressive Sensing Techniques参考文献 43被引用 11

一句话总结

本文提出牛顿硬阈值追踪（NHTP），一种新颖的稀疏性约束优化算法，将牛顿法融入硬阈值框架。在弱假设下，该算法可实现全局收敛至驻点；在受限强凸性和光滑性条件下，可实现二次收敛，从而从理论上解释了牛顿基硬阈值方法在压缩感知和稀疏回归中经验效率的成因。

ABSTRACT

Algorithms based on the hard thresholding principle have been well studied with sounding theoretical guarantees in the compressed sensing and more general sparsity-constrained optimization. It is widely observed in existing empirical studies that when a restricted Newton step was used (as the debiasing step), the hard-thresholding algorithms tend to meet halting conditions in a significantly low number of iterations and are very efficient. Hence, the thus obtained Newton hard-thresholding algorithms call for stronger theoretical guarantees than for their simple hard-thresholding counterparts. This paper provides a theoretical justification for the use of the restricted Newton step. We build our theory and algorithm, Newton Hard-Thresholding Pursuit (NHTP), for the sparsity-constrained optimization. Our main result shows that NHTP is quadratically convergent under the standard assumption of restricted strong convexity and smoothness. We also establish its global convergence to a stationary point under a weaker assumption. In the special case of the compressive sensing, NHTP effectively reduces to some of the existing hard-thresholding algorithms with a Newton step. Consequently, our fast convergence result justifies why those algorithms perform better than without the Newton step. The efficiency of NHTP was demonstrated on both synthetic and real data in compressed sensing and sparse logistic regression.

研究动机与目标

• 弥合牛顿基硬阈值算法在稀疏优化中经验效率与现有理论收敛保证之间的理论差距。
• 为使用受限牛顿步进行去偏的算法建立强收敛速率——特别是二次收敛速率，这是当前最先进的硬阈值方法中的关键组件。
• 为牛顿硬阈值追踪（NHTP）提供一个适用于一般稀疏性约束优化与压缩感知的统一理论框架。
• 证明引入牛顿步可显著加速收敛，从而为实际实现中使用该步骤提供理论依据。

提出的方法

• 提出牛顿硬阈值追踪（NHTP），一种三步迭代算法：通过基于梯度的选择进行支持集识别，对识别出的支持集执行基于牛顿法的去偏，再通过剪枝操作维持稀疏性。
• 在牛顿步中使用受限海森矩阵近似，仅在活动支持集 $ T_k $ 上求解子问题，从而确保计算效率。
• 采用带自适应步长的 Armijo 线搜索，证明最终 $ \alpha_k = 1 $，从而实现超线性收敛行为。
• 引入一个增广函数 $ F_\eta(\mathbf{x}; T) $，结合梯度项与稀疏性违反项，用于衡量平稳性与收敛性。
• 通过海森矩阵的泰勒展开以及对利普希茨常数 $ L_f $ 和受限强凸性参数 $ m_{2s} $ 的有界性分析，建立收敛性。
• 利用雅可比矩阵 $ F'_\eta(\mathbf{x}^*; T_k) $ 的奇异值，将增广函数的范数与到解的距离关联，从而实现对二次收敛速率的分析。

实验结果

研究问题

• RQ1 牛顿基硬阈值方法在稀疏优化中的经验成功能否从理论上得到解释？
• RQ2 在何种条件下，引入受限牛顿步相比纯梯度基硬阈值方法能带来更快的收敛速度？
• RQ3 牛顿硬阈值追踪（NHTP）是否在弱于现有方法的假设下，实现对驻点的全局收敛？
• RQ4 在受限强凸性和光滑性等标准假设下，NHTP 的收敛速率如何？
• RQ5 NHTP 的二次收敛特性如何解释 CoSaMP 和 HTP 等算法在实际中迭代次数较少的现象？

主要发现

• 在受限强凸性和光滑性假设下，NHTP 可实现全局收敛至驻点。
• 在标准的受限强凸性和光滑性假设下，NHTP 展现出二次收敛，即当 $ k $ 足够大时，满足 $ \|\mathbf{x}^{k+1} - \mathbf{x}^*\| \leq C \|\mathbf{x}^k - \mathbf{x}^*\|^2 $。
• 通过海森矩阵的泰勒展开以及对利普希茨常数 $ L_f $ 和受限特征值 $ m_{2s} $ 的有界性分析，证明了在解附近误差呈二次下降，从而确立了收敛速率。
• 该算法确保 Armijo 线搜索最终使用完整步长 $ \alpha_k = 1 $，这对实现二次收敛至关重要。
• 证明增广函数 $ \|F_\eta(\mathbf{x}; T)\|^2 $ 的下界为到解距离平方的倍数，从而确认了局部超线性行为。
• 在压缩感知和稀疏逻辑回归中，NHTP 在迭代次数与收敛速度方面均优于标准硬阈值方法，从而在实验中验证了理论发现。