[论文解读] A second-order method with enriched Hessian information for imaging composite sparse optimization problems

Pedro Merino, Juan Carlos De los Reyes|arXiv (Cornell University)|Sep 3, 2020

Sparse and Compressive Sensing Techniques参考文献 13被引用 2

一句话总结

本文提出了一种用于线性复合稀疏问题的二阶优化方法，该问题涉及非凸光滑项和ℓ₁-范数正则化。通过整合最小范数次梯度、投影步骤以及非可微项的丰富海森信息，该方法在求解复合稀疏优化问题（包括具有微分图算子的问题）时实现了更优的收敛性和效率。

ABSTRACT

In this paper we propose a second--order method for solving \emph{linear composite sparse optimization problems} consisting of minimizing the sum of a differentiable (possibly nonconvex function) and a nondifferentiable convex term. The composite nondifferentiable convex penalizer is given by $\ell_1$--norm of a matrix multiplied with the coefficient vector. The algorithm that we propose for the case of the linear composite $\ell_1$ problem relies on the three main ingredients that power the OESOM algorithm \cite{dlrlm07}: the minimum norm subgradient, a projection step and, in particular, the second--order information associated to the nondifferentiable term. By extending these devices, we obtain a full second--order method for solving composite sparse optimization problems which includes a wide range of applications. For instance, problems involving the minimization of a general class \emph{differential graph operators} can be solved with the proposed algorithm. We present several computational experiments to show the efficiency of our approach for different application examples.

研究动机与目标

• 解决具有非凸光滑项和ℓ₁-正则化的线性复合稀疏优化问题的挑战。
• 通过整合ℓ₁项的丰富海森信息，改进二阶方法。
• 通过整合完整的二阶信息，扩展OESOM算法，以实现更快的收敛性和更强的鲁棒性。
• 通过所提出的框架，实现对涉及微分图算子问题的高效求解。

提出的方法

• 该方法采用最小范数次梯度来处理复合目标函数中的不可微ℓ₁项。
• 通过投影步骤在优化迭代过程中施加约束或保持可行性。
• 通过计算针对ℓ₁-范数项结构定制的海森近似，实现二阶信息的丰富化。
• 该算法将这些组件整合为一种完整的二阶方法，利用曲率信息实现更快的收敛。
• 通过将微分图算子的结构嵌入优化框架，该方法可处理一般形式的微分图算子。
• 该方法通过整合针对不可微分部分的特定海森信息，扩展了OESOM，提升了稳定性和收敛速度。

实验结果

研究问题

• RQ1 如何有效扩展二阶方法，以处理具有非凸光滑项和ℓ₁正则化的复合稀疏优化问题？
• RQ2 ℓ₁项的丰富海森信息在提升收敛性和稳定性方面起到什么作用？
• RQ3 所提出的方法能否高效求解涉及微分图算子的问题？
• RQ4 与一阶方法或基础二阶方法相比，最小范数次梯度和投影步骤的集成如何提升性能？

主要发现

• 通过利用不可微ℓ₁项的丰富海森信息，所提出的方法实现了更快的收敛速率。
• 最小范数次梯度与投影步骤的集成增强了优化过程中的数值稳定性和可行性。
• 该算法在求解复合稀疏问题（包括具有微分图算子的问题）方面表现出卓越性能。
• 计算实验验证了该方法在多样化应用实例中的高效性和鲁棒性。
• 该方法通过整合完整的二阶信息扩展了OESOM框架，实际应用中实现了更快的收敛速度。