[论文解读] Proximal Iteratively Reweighted Algorithm with Multiple Splitting for Nonconvex Sparsity Optimization

Canyi Lu, Yunchao Wei+2 more|arXiv (Cornell University)|Apr 28, 2014

Sparse and Compressive Sensing Techniques参考文献 18被引用 10

一句话总结

该论文提出了一种广义的近端迭代重加权（PIRE）算法，采用多分裂策略解决非凸稀疏优化问题，通过迭代重加权和近端更新求解一类广义的非凸问题。该方法在保证收敛性的同时实现最优效率，获得驻点解，其在合成数据和真实世界任务（如稀疏恢复和多任务学习）中均优于IRLS、IRL1和多阶段求解器。

ABSTRACT

This paper proposes the Proximal Iteratively REweighted (PIRE) algorithm for solving a general problem, which involves a large body of nonconvex sparse and structured sparse related problems. Comparing with previous iterative solvers for nonconvex sparse problem, PIRE is much more general and efficient. The computational cost of PIRE in each iteration is usually as low as the state-of-the-art convex solvers. We further propose the PIRE algorithm with Parallel Splitting (PIRE-PS) and PIRE algorithm with Alternative Updating (PIRE-AU) to handle the multi-variable problems. In theory, we prove that our proposed methods converge and any limit solution is a stationary point. Extensive experiments on both synthesis and real data sets demonstrate that our methods achieve comparative learning performance, but are much more efficient, by comparing with previous nonconvex solvers.

研究动机与目标

• 解决传统凸松弛方法无法捕捉真实稀疏性时的非凸稀疏问题的高效求解挑战。
• 开发一种通用算法，适用于广泛的非凸稀疏及结构化稀疏优化问题。
• 在保持每次迭代计算成本较低的同时，确保理论收敛至驻点。
• 通过并行和交替更新策略将框架扩展至多变量问题，实现可扩展优化。
• 在真实世界和合成数据集上，相比现有非凸求解器，展现出显著更高的效率和相当的性能表现。

提出的方法

• 提出PIRE算法以求解广义非凸问题：minₓ F(x) = λf(g(x)) + h(x)，其中f为凹函数且非负，g为非负函数，h为C¹,¹光滑函数。
• 通过求解一系列凸子问题实现迭代重加权：在每次迭代中求解 minₓ λ⟨wᵏ, g(x)⟩ + ½‖x − b‖²₂。
• 引入PIRE-PS（并行分裂）和PIRE-AU（交替更新）以处理具有可分结构的多变量问题。
• 利用基于当前迭代值自适应生成的权重进行近端更新，确保下降性和收敛性。
• 将迭代重加权方法应用于非凸惩罚项，如ℓp-范数（0 < p < 1）、截断ℓ1和基于范数的组稀疏性。
• 通过证明在给定问题条件下，任意迭代序列的极限点均为驻点，确保理论收敛性。

实验结果

研究问题

• RQ1 能否开发一种通用、高效的非凸稀疏优化算法，避免传统求解器的高成本？
• RQ2 如何将迭代重加权方法扩展至多变量和结构化稀疏问题，同时保持收敛性？
• RQ3 与IRLS、IRL1和多阶段算法相比，所提出的PIRE框架在计算效率和收敛性能方面表现如何？
• RQ4 该方法能否在合成数据和真实世界数据上实现显著降低的运行时间，同时保持相当的学习性能？
• RQ5 在非凸、非光滑和非凸设置下，该算法是否仍能保持收敛性保证和驻点性质？

主要发现

• PIRE、PIRE-PS和PIRE-AU在问题结构条件下收敛至驻点，具有理论保证。
• PIRE-PS和PIRE-AU相比标准PIRE收敛更快，在合成稀疏恢复任务中迭代次数更少、运行时间更短。
• 在合成数据上，PIRE-PS和PIRE-AU相比IRLS将运行时间减少高达50%，相比IRL1减少高达30%，同时达到相近的目标函数值。
• 在Isolet数据集上的多任务学习中，基于PIRE的方法在测试MSE上与多阶段算法相当，但运行时间显著更短——在30%训练比例下最快可快5倍。
• IRL1方法比IRLS更高效，原因在于更好的初始化和更少的内层迭代次数，这一趋势在PIRE变体中同样观察到。
• PIRE方法在所有测试数据规模和稀疏度水平下均保持了具有竞争力的泛化性能，证实了其鲁棒性和可扩展性。