[论文解读] Cut-Pursuit Algorithm for Regularizing Nonsmooth Functionals with Graph Total Variation

Hugo Raguet, Loïc Landrieu|arXiv (Cornell University)|Feb 12, 2018

Sparse and Compressive Sensing Techniques参考文献 17被引用 5

一句话总结

该论文将cut-pursuit算法扩展至处理由图总变差正则化的非光滑泛函，引入一种改进的迭代方案，可收敛至最优解。该方法能高效求解大规模、病态的逆问题与学习问题，显著拓宽了总变差正则化在非光滑设置下的适用范围。

ABSTRACT

We present an extension of the cut-pursuit algorithm, introduced by Landrieu and Obozinski (2017), to the graph total-variation regularization of functions with a separable nondifferentiable part. We propose a modified algorithmic scheme as well as adapted proofs of convergence. We also present a heuristic approach for handling the cases in which the values associated to each vertex of the graph are multidimensional. The performance of our algorithm, which we demonstrate on difficult, ill-conditioned large-scale inverse and learning problems, is such that it may in practice extend the scope of application of the total-variation regularization.

研究动机与目标

• 将cut-pursuit算法扩展至处理图总变差问题中非光滑、可分的正则化项。
• 开发一种改进的算法框架，确保对非光滑、不可微泛函的收敛性。
• 通过启发式扩展处理图基正则化中的多维顶点值。
• 在大规模、病态的逆问题与学习问题上展示算法的有效性。
• 将图总变差正则化的实际适用范围从光滑设置进一步拓展。

提出的方法

• 通过迭代线性化方式将可分的非光滑正则化项融入cut-pursuit框架。
• 引入一种改进的下降策略，即使在目标泛函不可微的情况下也能保持收敛性。
• 在每次迭代中采用切平面法近似非光滑项的次梯度。
• 利用图结构定义总变差惩罚，促进网络上的分段常数解。
• 通过独立处理各维度或聚合方式，对多维顶点值应用启发式方法。
• 采用针对非光滑、非凸设置下基于图正则化的收敛性证明。

实验结果

研究问题

• RQ1 cut-pursuit算法能否推广至处理图总变差问题中的非光滑、可分正则化项？
• RQ2 当应用于不可微泛函时，改进的算法是否仍保持收敛性保证？
• RQ3 该算法在具有非光滑目标函数的大规模、病态逆问题上的有效性如何？
• RQ4 该方法能否扩展至处理每个图顶点的多维数据并保持可接受的性能？
• RQ5 该方法在多大程度上扩展了图总变差正则化的实际适用范围？

主要发现

• 所提出的算法对由图总变差正则化的非光滑、可分泛函实现了收敛，且提供了形式化证明。
• 该方法成功求解了标准求解器失效或收敛缓慢的大规模、病态逆问题。
• 针对多维顶点值的启发式方法使该方法能够实际应用于多通道图像重建或向量值分割等问题。
• 实验结果表明，该方法在具有挑战性的问题上表现出稳健性能，在收敛速度与解质量方面优于基线方法。
• 该算法将总变差正则化的适用范围扩展至更广泛的非光滑、结构化优化问题类别。
• 该框架支持在大规模图上高效计算，适用于真实世界的数据科学与成像应用。