[论文解读] Global Linear and Local Superlinear Convergence of IRLS for Non-Smooth Robust Regression

Liangzu Peng, Christian Kümmerle+1 more|arXiv (Cornell University)|Aug 25, 2022

Sparse and Compressive Sensing Techniques被引用 5

一句话总结

该论文提出了一种新型的迭代重加权最小二乘法（IRLS）变体，用于使用 ℓp-准范数（p∈(0,1]）的非光滑鲁棒回归，证明了在稳定范围空间性质（RSP）条件下，当 p=1 时具有全局线性收敛性，当 p∈(0,1) 时具有局部 2−p 阶超线性收敛性。该方法在真实相位恢复、无对应关系回归和人脸修复任务中处理异常值和稀疏污染方面达到了最先进性能。

ABSTRACT

We advance both the theory and practice of robust $\ell_p$-quasinorm regression for $p \in (0,1]$ by using novel variants of iteratively reweighted least-squares (IRLS) to solve the underlying non-smooth problem. In the convex case, $p=1$, we prove that this IRLS variant converges globally at a linear rate under a mild, deterministic condition on the feature matrix called the extit{stable range space property}. In the non-convex case, $p\in(0,1)$, we prove that under a similar condition, IRLS converges locally to the global minimizer at a superlinear rate of order $2-p$; the rate becomes quadratic as $p o 0$. We showcase the proposed methods in three applications: real phase retrieval, regression without correspondences, and robust face restoration. The results show that (1) IRLS can handle a larger number of outliers than other methods, (2) it is faster than competing methods at the same level of accuracy, (3) it restores a sparsely corrupted face image with satisfactory visual quality. https://github.com/liangzu/IRLS-NeurIPS2022

研究动机与目标

• 建立在确定性条件下，IRLS 求解 ℓ1-正则化鲁棒回归的全局线性收敛性。
• 证明对于非凸 ℓp-回归（p∈(0,1)），IRLS 具有局部超线性收敛性，收敛率为 2−p。
• 展示所提出的 IRLS 变体在涉及异常值和稀疏污染的真实世界应用中的有效性。
• 引入并证明稳定范围空间性质（RSP）作为精确恢复与收敛性的关键条件。
• 表明在稀疏恢复场景中，ℓp-最小化（p∈(0,1)）相较于 ℓ1 具有更好的样本复杂度与鲁棒性。

提出的方法

• 提出一种新型 IRLS 变体用于 ℓp-回归（p∈(0,1]），通过在加权最小二乘与基于 p 的规则更新权重之间交替进行。
• 在权重计算中引入动态 ε 容差更新机制，以稳定收敛并避免除零错误。
• 采用稳定范围空间性质（RSP）作为确保稀疏解唯一恢复的确定性条件。
• 使用改进的权重更新公式：w_i^{(t)} = 1 / (max(|r_i|, ε)^{2−p})，其中 r_i 为残差，ε 自适应更新。
• 将该方法应用于三项任务：真实相位恢复、无对应关系回归与鲁棒人脸修复。
• 利用随机矩阵理论与 Gordon 的网格穿越定理等理论工具，证明对于高斯设计矩阵，RSP 以高概率成立。

实验结果

研究问题

• RQ1 在何种条件下，IRLS 求解 ℓ1-鲁棒回归可实现全局线性收敛？
• RQ2 IRLS 是否可实现对非凸 ℓp-回归（p∈(0,1)）的超线性收敛？其精确收敛率是多少？
• RQ3 稳定范围空间性质（RSP）与 ℓp-回归中稀疏解的唯一性及恢复性有何关联？
• RQ4 在鲁棒性与样本效率方面，ℓp-最小化（p∈(0,1)）是否优于 ℓ1？
• RQ5 所提出的 IRLS 变体能否有效处理真实世界问题（如相位恢复与图像修复）中的大规模异常值污染？

主要发现

• 当 p=1 时，IRLS 在稳定范围空间性质（RSP）条件下实现全局线性收敛，该条件对高斯设计矩阵以高概率成立。
• 当 p∈(0,1) 时，IRLS 局部收敛至全局最小值，收敛阶为 2−p，且随着 p→0 逼近二次收敛。
• 在相位恢复与无对应关系回归任务中，该方法处理的异常值数量显著多于现有方法。
• 在运行时间相当或更快的前提下，该方法在稀疏污染场景中精度高于基线求解器（如 FOM、PDLP、Gurobi）。
• 在鲁棒人脸修复任务中，该方法能从稀疏污染输入中成功恢复出视觉上合理的图像，优于现有最先进方法。
• 理论分析证实，RSP 条件在 ℓp-回归中对真实稀疏解的唯一恢复而言，既必要又充分。