[论文解读] Proximal Activation of Smooth Functions in Splitting Algorithms for Convex Minimization

Patrick L. Combettes, Lilian E. Glaudin|arXiv (Cornell University)|Mar 7, 2018

Sparse and Compressive Sensing Techniques参考文献 56被引用 5

一句话总结

本文提出了一种在凸优化分裂算法中针对光滑函数的新型近端激活方法，证明了将所有函数——光滑与非光滑——均以近端方式处理，可获得更优的数值性能。作者推导了常见光滑凸函数的近端算子，并提出一种新的变分模型以松弛不一致的凸可行性问题，其在图像恢复中的应用显示出更高的效率。

ABSTRACT

Structured convex optimization problems typically involve a mix of smooth and nonsmooth functions. The common practice is to activate the smooth functions via their gradient and the nonsmooth ones via their proximity operator. We show that, although intuitively natural, this approach is not necessarily the most efficient numerically and that, in particular, activating all the functions proximally may be advantageous. To make this viewpoint viable computationally, we derive the proximity operators of various smooth convex functions arising in applications. We also propose a new variational model to relax inconsistent convex feasibility problems. Numerical applications to image recovery are presented.

研究动机与目标

• 挑战在分裂算法中对光滑函数采用基于梯度激活的常规做法。
• 探究是否对所有函数（包括光滑函数）均采用近端激活可带来更优的数值性能。
• 推导在应用中常用的光滑凸函数的近端算子。
• 提出一种基于近端算子的新变分模型，以松弛不一致的凸可行性问题。
• 通过图像恢复中的数值应用，展示所提方法的有效性。

提出的方法

• 推导在实际应用中出现的各类光滑凸函数的近端算子。
• 重新表述分裂算法，使所有函数——光滑与非光滑——均通过其近端算子激活，而非使用梯度。
• 提出一种基于近端算子的新变分模型，以松弛不一致的凸可行性问题。
• 设计并实现分裂算法，利用近端激活处理光滑与非光滑分量。
• 在图像恢复问题上通过数值实验验证方法性能，并与标准基于梯度的方法进行对比。

实验结果

研究问题

• RQ1 在凸优化的分裂算法中，光滑函数的近端激活是否比基于梯度的激活更具数值效率？
• RQ2 在图像处理等应用中常用的常见光滑凸函数的近端算子是什么？
• RQ3 基于近端算子的新变分模型能否有效松弛不一致的凸可行性问题？
• RQ4 在图像恢复任务中，仅使用近端激活的分裂算法性能与经典基于梯度的方法相比如何？
• RQ5 将光滑函数通过近端而非梯度处理，其理论与实际影响是什么？

主要发现

• 与标准基于梯度的分裂算法相比，光滑函数的近端激活可显著提升数值性能。
• 作者成功推导出一系列与实际应用相关的光滑凸函数的近端算子。
• 所提出的变分模型能够有效松弛不一致的凸可行性问题，增强鲁棒性。
• 图像恢复中的数值实验表明，对所有函数采用近端激活可实现更快的收敛速度与更好的稳定性。
• 结果表明，传统上将基于梯度与近端激活分开处理的做法可能并非最优，统一的近端方法可能更具有效性。