[论文解读] A Unified Framework for Sparse Relaxed Regularized Regression: SR3

Peng Zheng, Travis Askham+3 more|arXiv (Cornell University)|Jul 14, 2018

Sparse and Compressive Sensing Techniques参考文献 50被引用 12

一句话总结

本文提出了SR3，一种用于稀疏松弛正则化回归的统一框架，通过将标准正则化回归问题重新表述为松弛优化子问题，实现了对误差、误报控制和条件数的显著改进。通过采用一种新颖的松弛技术，SR3在凸与非凸正则化器（包括LASSO、总变差和ℓ₀-正则化）上均实现了更快、可扩展的算法，且性能更优。

ABSTRACT

Regularized regression problems are ubiquitous in statistical modeling, signal processing, and machine learning. Sparse regression in particular has been instrumental in scientific model discovery, including compressed sensing applications, variable selection, and high-dimensional analysis. We propose a broad framework for sparse relaxed regularized regression, called SR3. The key idea is to solve a relaxation of the regularized problem, which has three advantages over the state-of-the-art: (1) solutions of the relaxed problem are superior with respect to errors, false positives, and conditioning, (2) relaxation allows extremely fast algorithms for both convex and nonconvex formulations, and (3) the methods apply to composite regularizers such as total variation (TV) and its nonconvex variants. We demonstrate the advantages of SR3 (computational efficiency, higher accuracy, faster convergence rates, greater flexibility) across a range of regularized regression problems with synthetic and real data, including applications in compressed sensing, LASSO, matrix completion, TV regularization, and group sparsity. To promote reproducible research, we also provide a companion MATLAB package that implements these examples.

研究动机与目标

• 解决稀疏回归中长期存在的挑战，包括条件数差、收敛速度慢以及非凸形式的处理困难。
• 开发一个统一框架，以在各类正则化回归问题中提升解的质量（更低误差、更少误报）。
• 为病态条件和高维问题（含噪声或缺失数据）提供快速、可扩展且鲁棒的求解器。
• 将适用范围扩展至复合正则化器和非凸正则化器（如总变差和ℓ₀-范数），这些通常难以用标准方法处理。

提出的方法

• SR3通过引入一个松弛参数，将标准正则化最小二乘问题重新表述，将原问题转化为更平滑、条件更优的子问题。
• 该方法通过参数化海森矩阵Hκ实现基于海森矩阵的松弛，以稳定优化景观并改善条件数。
• 采用类似邻近算子的更新策略，结合修改后的目标函数fα,p(x;z)，实现对ℓq型正则化器的高效邻近算子计算。
• 该框架通过统一的优化结构支持凸与非凸正则化器，包括ℓ₁（LASSO）、ℓ₀、总变差（TV）和组稀疏性。
• 关键创新在于采用对偶公式，将不同正则化强度λ₁与λ₂下的解联系起来，实现收敛性保证并提升鲁棒性。
• 该算法利用快速迭代求解器（包括用于邻近算子的牛顿型方法），确保高计算效率。

实验结果

研究问题

• RQ1 统一框架能否在各类稀疏回归问题中提升解的质量（误差、误报、条件数）？
• RQ2 松弛技术能否显著加速病态或高维回归问题中的收敛速度并提升鲁棒性？
• RQ3 该框架能否有效处理通常难以优化的非凸正则化器（如ℓ₀和总变差）？
• RQ4 在存在噪声或缺失数据的情况下，SR3与最先进求解器相比，在速度、精度和稳定性方面表现如何？
• RQ5 基于松弛的重构公式在多大程度上保持了原始正则化问题的稀疏促进特性？

主要发现

• SR3在稀疏恢复任务中相比最先进方法实现了更优的解质量，重建误差更低，误报更少。
• 松弛公式使优化问题具备更好的条件数，从而实现更快收敛和更高的数值稳定性。
• SR3在病态场景（如压缩感知和矩阵补全）中表现出显著快于传统求解器的收敛速率。
• 该框架成功处理了ℓ₀和总变差等非凸正则化器，在准确性和速度上均优于标准求解器。
• 理论分析表明，松弛问题与原始问题解之间的距离有界，且在正交A矩阵下提供了显式边界。
• 在合成数据和真实世界数据上的实证结果表明，SR3即使在存在噪声或缺失数据的情况下，仍能保持高精度和强鲁棒性。