[论文解读] Fast, Provably convergent IRLS Algorithm for p-norm Linear Regression

Deeksha Adil, Richard Peng+1 more|arXiv (Cornell University)|Jul 16, 2019

Sparse and Compressive Sensing Techniques被引用 11

一句话总结

该论文提出了 p-IRLS，这是首个对任意 p ∈ [2, ∞) 都能保证几何收敛的 IRLS 算法，解决了长期存在的开放性问题。它通过采用一种新型收敛性保证的迭代重加权最小二乘法，实现了快速且高精度的求解，在实际应用中相比标准实现提速 10–50 倍。

ABSTRACT

Linear regression in L_p-norm is a canonical optimization problem that arises in several applications, including sparse recovery, semi-supervised learning, and signal processing. Generic convex optimization algorithms for solving L_p-regression are slow in practice. Iteratively Reweighted Least Squares (IRLS) is an easy to implement family of algorithms for solving these problems that has been studied for over 50 years. However, these algorithms often diverge for p > 3, and since the work of Osborne (1985), it has been an open problem whether there is an IRLS algorithm that converges for p > 3. We propose p-IRLS, the first IRLS algorithm that provably converges geometrically for any p \in [2,\infty). Our algorithm is simple to implement and is guaranteed to find a high accuracy solution in a sub-linear number of iterations. Our experiments demonstrate that it performs even better than our theoretical bounds, beats the standard Matlab/CVX implementation for solving these problems by 10–50x, and is the fastest among available implementations in the high-accuracy regime.

研究动机与目标

• 解决长期存在的开放性问题：在 L_p-回归中，是否存在一种 IRLS 算法可在 p > 3 时实现收敛？
• 设计一种简单且可实现的算法，确保对所有 p ∈ [2, ∞) 实现几何收敛。
• 实现亚线性迭代复杂度并达到高精度，优于通用凸优化求解器。
• 提供理论保证，而此前的 IRLS 变体在 p > 3 时往往失效或发散。

提出的方法

• 提出 p-IRLS 作为专为 p ≥ 2 的 p-范数回归设计的新 IRLS 变体。
• 采用迭代重加权最小二乘法，并设计一种精心构造的权重更新规则以确保收敛性。
• 基于目标函数误差的几何衰减进行收敛性分析。
• 建立迭代复杂度的理论界，其与期望精度呈亚线性关系。
• 引入阻尼机制或步长控制，防止在高 p 范围内发散。
• 利用 p-范数和凸优化的已知性质，推导出收敛性保证。

实验结果

研究问题

• RQ1 能否证明 IRLS 算法在 L_p-回归中对 p > 3 实现几何收敛？
• RQ2 对标准 IRLS 框架进行何种修改，可确保在所有 p ∈ [2, ∞) 下收敛？
• RQ3 所提算法的迭代复杂度如何随精度和 p 值变化？
• RQ4 该算法能否在速度和精度上均优于 CVX 等现成求解器？
• RQ5 其理论基础是什么，使得该算法能实现高精度解的亚线性收敛？

主要发现

• p-IRLS 是首个对任意 p ∈ [2, ∞) 都具备可证明几何收敛保证的 IRLS 算法。
• 该算法在亚线性数量的迭代内即可获得高精度解，显著降低计算成本。
• 在实际应用中，p-IRLS 相比标准 Matlab/CVX 实现提速 10–50 倍，尤其在高精度场景下优势明显。
• 即使在 p > 3 时，该算法仍保持稳定并能收敛，而此前的 IRLS 变体通常会发散。
• 实验结果表明，该算法的实际性能优于理论边界预测，显示出极强的实际效率。