[论文解读] A General Iterative Shrinkage and Thresholding Algorithm for Non-convex Regularized Optimization Problems

Pinghua Gong, Changshui Zhang+3 more|arXiv (Cornell University)|Mar 18, 2013

Sparse and Compressive Sensing Techniques参考文献 30被引用 111

一句话总结

本文提出了一种通用迭代软阈值化与阈值化（GIST）算法，用于求解具有广泛非凸惩罚项的非凸正则化优化问题。通过利用闭式近端算子和Barzilai-Borwein规则初始化的线搜索，GIST能够高效处理大规模稀疏学习问题，在真实数据集上实现了快速收敛和优异的实验性能。

ABSTRACT

Non-convex sparsity-inducing penalties have recently received considerable attentions in sparse learning. Recent theoretical investigations have demonstrated their superiority over the convex counterparts in several sparse learning settings. However, solving the non-convex optimization problems associated with non-convex penalties remains a big challenge. A commonly used approach is the Multi-Stage (MS) convex relaxation (or DC programming), which relaxes the original non-convex problem to a sequence of convex problems. This approach is usually not very practical for large-scale problems because its computational cost is a multiple of solving a single convex problem. In this paper, we propose a General Iterative Shrinkage and Thresholding (GIST) algorithm to solve the nonconvex optimization problem for a large class of non-convex penalties. The GIST algorithm iteratively solves a proximal operator problem, which in turn has a closed-form solution for many commonly used penalties. At each outer iteration of the algorithm, we use a line search initialized by the Barzilai-Borwein (BB) rule that allows finding an appropriate step size quickly. The paper also presents a detailed convergence analysis of the GIST algorithm. The efficiency of the proposed algorithm is demonstrated by extensive experiments on large-scale data sets.

研究动机与目标

• 解决在稀疏学习中因使用非凸惩罚项而产生的大规模非凸优化问题挑战。
• 克服现有多阶段凸松弛法和DC规划方法在大规模数据集上计算成本过高的局限性。
• 开发一种通用算法，适用于广泛非凸惩罚项，包括SCAD、MCP、LSP和截断ℓ₁。
• 通过使用Barzilai-Borwein规则和非单调线搜索实现高效的步长选择，确保快速收敛。
• 在损失函数和正则化项函数满足标准假设的前提下，对所提算法提供严格的收敛性分析。

提出的方法

• 将优化问题表述为最小化一个光滑、Lipschitz连续可微的损失函数与一个非凸正则化项之和，其中该正则化项为两个凸函数之差。
• 应用一种迭代近端方案，其中每个子问题涉及最小化损失函数的二次逼近加上缩放后的正则化项。
• 利用常见非凸惩罚项（如ℓ₁、LSP、SCAD、MCP、截断ℓ₁）的近端算子的闭式解，以实现高效更新。
• 使用Barzilai-Borwein规则初始化线搜索步长，以加速收敛。
• 采用非单调线搜索准则，进一步提升收敛速度和鲁棒性。
• 在目标函数满足标准假设的前提下，通过证明全局收敛性，确保算法收敛至临界点。

实验结果

研究问题

• RQ1 能否设计一种通用的迭代算法，以高效求解广泛非凸惩罚项下的非凸正则化优化问题？
• RQ2 与多阶段凸松弛法或DC规划等现有方法相比，所提出的GIST算法在收敛速度和可扩展性方面表现如何？
• RQ3 使用Barzilai-Borwein规则初始化和非单调线搜索对算法收敛行为有何影响？
• RQ4 在标准假设下，GIST算法是否收敛至临界点？其理论依据是什么？
• RQ5 与最先进方法相比，GIST在真实世界大规模稀疏学习问题上的表现如何？

主要发现

• 通过结合闭式近端更新与Barzilai-Borwein步长初始化，GIST算法在大规模数据集上实现了快速收敛。
• 该算法适用于广泛的非凸惩罚项，包括SCAD、MCP、LSP和截断ℓ₁，且每种惩罚项均有显式推导的闭式解。
• 在真实世界数据集上的大量实验表明，GIST在收敛速度和解的质量方面均优于现有方法。
• 收敛性分析证明，在标准假设下GIST可收敛至临界点，提供了理论保证。
• 采用非单调线搜索进一步加速了收敛，且未影响稳定性或解的精度。
• 该算法在大规模稀疏学习任务中具备可扩展性和实用性，克服了传统DC规划方法的计算局限。