[论文解读] Convolution based smooth approximations to the absolute value function with application to non-smooth regularization

Sergey Voronin, Gorkem Ozkaya+1 more|arXiv (Cornell University)|Aug 28, 2014

Sparse and Compressive Sensing Techniques参考文献 18被引用 11

一句话总结

本论文通过高斯平滑核构造基于卷积的绝对值函数平滑逼近，实现对非光滑稀疏性促进正则化问题的基于梯度的优化。该方法允许通过共轭梯度和牛顿法高效最小化 $F_p(x)$，在压缩感知中相较于 FISTA 表现更优，尤其在 $p<1$ 且噪声较高的情况下。

ABSTRACT

We present new convolution based smooth approximations to the absolute value function and apply them to construct gradient based algorithms such as the nonlinear conjugate gradient scheme to obtain sparse, regularized solutions of linear systems $Ax = b$, a problem often tackled via iterative algorithms which attack the corresponding non-smooth minimization problem directly. In contrast, the approximations we propose allow us to replace the generalized non-smooth sparsity inducing functional by a smooth approximation of which we can readily compute gradients and Hessians. The resulting gradient based algorithms often yield a good estimate for the sought solution in few iterations and can either be used directly or to quickly warm start existing algorithms.

研究动机与目标

• 解决对非光滑、非凸稀疏性诱导泛函 $F_p(x)$（$p<1$）进行最小化的问题，此类问题使用标准次梯度方法难以优化。
• 通过构建绝对值函数的平滑逼近，克服 $\ell_p$-范数在 $p<1$ 时的不可微性。
• 使高效基于梯度的优化算法（如非线性共轭梯度、牛顿法）可用于平滑后的泛函，从而实现更快、更精确的稀疏解。
• 提供一种灵活、通用的平滑框架，不仅适用于 $\ell_1$ 正则化，还可推广至非凸 $\ell_p$ 问题。
• 数值结果表明，在高噪声条件下，$p \approx 0.83$ 的平滑逼近比 $p=1$ 具有更好的重建精度。

提出的方法

• 通过与高斯核卷积构造 $|t|$ 的平滑逼近：$s_{\sigma}(t) = (|\cdot| * \mathcal{N}_{\sigma})(t)$，确保当 $\sigma \to 0$ 时在 $L^1$ 范数下收敛。
• 定义非光滑泛函 $F_p(x) = \|Ax-b\|_2^2 + 2\tau\|x\|_p$ 的平滑逼近 $H_{p,\sigma}(x)$，将 $|x_k|$ 替换为其基于卷积的平滑版本。
• 推导梯度 $\nabla_x H_{p,\sigma}(x)$ 和海森矩阵 $\nabla^2_x H_{p,\sigma}(x)$ 的解析表达式，从而支持二阶优化方法的应用。
• 实现非线性共轭梯度法及混合算法（如 CG 配合 5 步牛顿法），采用基于海森矩阵或有限差分的线搜索近似。
• 在迭代求解器中，对 $p=1$ 使用软阈值，对 $p<1$ 使用硬阈值，以促进解的稀疏性。
• 通过重用较高 $\tau$ 值下的解作为较低 $\tau$ 值的初始猜测，实现沿正则化路径的热启动。

实验结果

研究问题

• RQ1 基于卷积的绝对值函数平滑是否能产生收敛于原始函数的平滑可微逼近，且在 $L^1$ 范数下收敛？
• RQ2 对于 $p<1$ 时原始泛函不可微的 $\ell_p$-正则化问题，能否有效应用基于梯度的优化方法于平滑后的泛函？
• RQ3 在含噪声的压缩感知中，使用 $p<1$ 的平滑泛函是否能相比 $p=1$ 提供更优的稀疏恢复性能？
• RQ4 在平滑逼近上应用共轭梯度与牛顿法是否能在收敛速度和重建精度上优于 FISTA？
• RQ5 平滑参数 $\sigma$ 的选择以及基于海森矩阵的线搜索使用，如何影响优化方案的数值稳定性和性能？

主要发现

• 基于卷积的 $|t|$ 平滑逼近在 $\sigma \to 0$ 时于 $L^1$ 范数下收敛，确保平滑泛函 $H_{p,\sigma}(x)$ 紧密逼近 $F_p(x)$。
• 对于 $p=1$，在 $H_{p,\sigma}(x)$ 上使用共轭梯度法的收敛速度和重建精度优于 FISTA，尤其在高噪声条件下。
• 在平滑泛函中使用 $p=0.83$ 时，恢复误差低于 $p=1$，表明在压缩感知中非凸 $\ell_p$ 正则化性能更优。
• 在 CG 方案中引入 5 步牛顿迭代可略微提升解的质量，表明在平滑泛函上使用高阶优化具有优势。
• 该平滑逼近框架使基于梯度的求解器能高效应用于非光滑稀疏问题，为现有阈值方法提供可行的替代方案或热启动策略。
• 所有基于 CG 的方案在 $5000 \times 5025$ 感知矩阵的图像重建实验中均优于 FISTA，其中 $p=0.83$ 变体在测试设置中实现了最低的百分比误差（1.8%）。