[论文解读] Iteratively Reweighted Least Squares for Basis Pursuit with Global Linear Convergence Rate

Christian Kümmerle, Claudio Mayrink Verdun+1 more|Publication Server of the Catholic University Eichstätt-Ingolstadt (Catholic University of Eichstätt-Ingolstadt)|Dec 22, 2020

Sparse and Compressive Sensing Techniques参考文献 47被引用 9

一句话总结

该论文首次为应用于基础追踪（Basis Pursuit）的迭代重加权最小二乘法（IRLS）变体建立了全局线性收敛速率，证明在测量矩阵满足零空间性质的前提下，无论从何种初始点出发，收敛至稀疏解的速率均为线性。该结果填补了长期存在的理论空白，表明IRLS在无需事先识别支撑集的情况下，能够立即实现全局线性误差下降。

ABSTRACT

The recovery of sparse data is at the core of many applications in machine learning and signal processing. While such problems can be tackled using $\ell_1$-regularization as in the LASSO estimator and in the Basis Pursuit approach, specialized algorithms are typically required to solve the corresponding high-dimensional non-smooth optimization for large instances. Iteratively Reweighted Least Squares (IRLS) is a widely used algorithm for this purpose due its excellent numerical performance. However, while existing theory is able to guarantee convergence of this algorithm to the minimizer, it does not provide a global convergence rate. In this paper, we prove that a variant of IRLS converges with a global linear rate to a sparse solution, i.e., with a linear error decrease occurring immediately from any initialization, if the measurements fulfill the usual null space property assumption. We support our theory by numerical experiments showing that our linear rate captures the correct dimension dependence. We anticipate that our theoretical findings will lead to new insights for many other use cases of the IRLS algorithm, such as in low-rank matrix recovery.

研究动机与目标

• 通过建立全局线性收敛速率，填补对IRLS收敛性理解的理论空白。
• 证明在标准零空间性质假设下，IRLS无论从何种初始点出发，均能线性收敛至稀疏解。
• 提供严谨分析，准确捕捉数值性能中的维数依赖关系。

提出的方法

• 提出一种改进的IRLS算法，采用光滑化的 $ε$-正则化 $–1$-范数逼近方法，以确保可微性与稳定性。
• 采用上界逼近（majorization-minimization）框架，利用二次上界对非光滑的 $–1$-范数目标函数进行上界逼近。
• 通过当前迭代点的幅值自适应生成权重序列，求解一系列加权最小二乘子问题。
• 采用共轭梯度法求解子问题，并提供理论收敛保证。
• 通过李雅普诺夫函数方法与条件数的有界性，建立全局线性收敛性。
• 依赖测量矩阵 $A$ 的零空间性质，以确保稀疏恢复与收敛性。

实验结果

研究问题

• RQ1 IRLS用于基础追踪能否实现与初始化无关的全局线性收敛速率？
• RQ2 IRLS的收敛速率是否依赖于问题的维数，且能否在理论上准确捕捉这一依赖？
• RQ3 是否可能在真实信号支撑集被识别之前证明线性收敛？
• RQ4 测量矩阵的条件数如何影响IRLS的收敛速率？
• RQ5 理论收敛速率能否与高维设置下的实际数值表现相匹配？

主要发现

• 所提出的IRLS变体实现了对稀疏解的全局线性收敛速率，误差从任意初始点出发均呈线性下降。
• 收敛速率显式有界，且依赖于测量矩阵 $A$ 的条件数，速率按 $\kappa(A)^2$ 的方式缩放。
• 理论速率准确捕捉了维数依赖关系，经数值实验验证。
• 分析证明，即使在真实支撑集被识别之前，线性收敛依然发生，解决了以往局部收敛结果的关键局限。
• 通过自适应加权确保子问题条件良好，使共轭梯度法能获得精确解。
• 该结果为将IRLS推广至低秩矩阵恢复等其他问题提供了理论基础。