[论文解读] Gradient Based Methods for Non-Smooth Regularization Via Convolution Smoothing

Sergey Voronin, Davis Yoshida|arXiv (Cornell University)|Aug 28, 2014

Sparse and Compressive Sensing Techniques参考文献 16被引用 2

一句话总结

本文提出一种基于卷积的平滑技术，将非光滑正则化问题（特别是含绝对值项的问题）转化为光滑且可由梯度表示的形式。通过卷积近似非可微项，该方法使基于梯度的优化方法（例如最速下降法、共轭梯度法）得以高效应用，在线性反问题中恢复稀疏解时可实现快速收敛，仅需少数迭代。

ABSTRACT

We present a smoothing technique which allows for the use of gradient based methods (such as steepest descent and conjugate gradients) for non-smooth regularization of inverse problems. As an application of this technique, we consider the problem of finding regularized solutions of linear systems Ax = b with sparsity constraints. Such problems involve the minimization of a functional with an absolute value term, which is not smooth. We replace the non-smooth term by a smooth approximation, computed via a convolution. We are then able to compute gradients and Hessians, and utilize standard gradient based methods which yield good numerical performance in few iterations. 1

研究动机与目标

• 解决在涉及绝对值项的非光滑正则化问题中应用基于梯度的优化方法的挑战。
• 开发非可微正则化项的平滑近似，以实现梯度计算。
• 将该平滑技术应用于具有稀疏性约束的线性反问题，例如最小化 ||Ax - b||² + λ||x||₁。
• 证明在平滑泛函上应用梯度方法可实现快速且数值稳定的收敛。

提出的方法

• 用与光滑核卷积的近似方法替代非光滑的 ℓ¹-范数项 ||x||₁。
• 通过将绝对值函数与光滑且紧支集的核函数卷积，构造出 C∞ 平滑近似泛函。
• 计算平滑泛函的梯度与海塞矩阵，以支持标准优化方法（如共轭梯度法）的应用。
• 将平滑泛函应用于 Tikhonov 类型问题：最小化 ||Ax - b||² + λ‖x‖₁，现可使用梯度下降法求解。
• 确保平滑参数控制着平滑性与原始非光滑项近似精度之间的权衡。

实验结果

研究问题

• RQ1 能否有效利用基于梯度的方法求解含 ℓ¹-正则化的非光滑正则化问题？
• RQ2 通过基于卷积的平滑方法，非光滑的绝对值函数能多准确地被近似？
• RQ3 平滑参数对梯度方法收敛性与精度有何影响？
• RQ4 平滑化形式是否保持了原始 ℓ¹-正则化促进稀疏性的特性？

主要发现

• 基于卷积的平滑技术成功地将非光滑正则化问题转化为光滑且可由梯度表示的形式。
• 在平滑泛函上应用基于梯度的方法可实现快速收敛，通常仅需少数几次迭代。
• 该方法保持了 ℓ¹-正则化促进稀疏性的本质，从而能够恢复稀疏解。
• 对绝对值函数的平滑近似使得梯度与海塞矩阵的可靠计算成为可能。