[论文解读] Higher-order Segmentation via Multicuts

Joerg H. Kappes, M. Speth+2 more|arXiv (Cornell University)|May 28, 2013

Medical Image Segmentation Techniques参考文献 52被引用 8

一句话总结

本文提出了一种全局最优的多切分（multicut）框架，用于高阶图像分割，通过将列生成法（cutting-plane methods）扩展至处理对称、标签不变的高阶能量项（如Potts类模型和包含先验），采用辅助变量和高效的分离过程。该方法实现了最先进的运行时性能，效率至少提高两倍，同时实现了复杂分割模型的精确优化。

ABSTRACT

Multicuts enable to conveniently represent discrete graphical models for unsupervised and supervised image segmentation, in the case of local energy functions that exhibit symmetries. The basic Potts model and natural extensions thereof to higher-order models provide a prominent class of such objectives, that cover a broad range of segmentation problems relevant to image analysis and computer vision. We exhibit a way to systematically take into account such higher-order terms for computational inference. Furthermore, we present results of a comprehensive and competitive numerical evaluation of a variety of dedicated cutting-plane algorithms. Our approach enables the globally optimal evaluation of a significant subset of these models, without compromising runtime. Polynomially solvable relaxations are studied as well, along with advanced rounding schemes for post-processing.

研究动机与目标

• 为具有对称、标签不变能量函数的高阶分割模型实现全局最优推理，扩展至标准Potts模型之外的范围。
• 解决将高阶项（超出成对项）纳入多切分公式时的计算挑战，同时不损害最优性或效率。
• 系统性地评估并比较计算机视觉应用中的列生成法分离策略，识别在运行时性能和解质量方面最有效的方案。
• 开发内存高效的精确算法用于监督分割（多路切割），在速度和可扩展性方面优于标准ILP公式。
• 探索多项式松弛与高级舍入方案用于无监督分割，提升解质量而不牺牲计算效率。

提出的方法

• 将分割建模为图上的多切分问题，其中边代表潜在的切割，使用有效多切分的多面体表示来强制执行划分约束。
• 引入辅助变量和额外约束，将高阶项（如4节点环）嵌入多切分框架，同时保持有效多切分的结构。
• 采用定制化分离过程的列生成法，包括奇轮不等式及新扩展，以收紧线性规划（LP）松弛并加速收敛。
• 在列生成框架内调用整数线性规划（ILP）子程序，精确求解松弛问题，从而实现全局最优解。
• 对无监督分割应用高级舍入方案，以在松弛后提升解质量，尤其适用于可多项式求解的松弛。
• 采用统一的计算流水线，使用相同的列生成框架统一处理二阶与高阶模型，确保一致性和效率。

实验结果

研究问题

• RQ1 如何高效地将高阶、标签不变的能量函数（如含4节点相互作用的Potts类模型）整合进基于多切分的分割框架？
• RQ2 在计算机视觉应用中，哪些列生成法分离策略（如奇轮不等式、基于ILP的分离）在松弛紧致性与运行时性能之间实现最佳权衡？
• RQ3 多切分公式能否在与节点标签域中标准ILP公式相当的运行时下，实现监督分割（多路切割）的全局最优解？
• RQ4 当精确优化不可行时，多项式松弛与高级舍入方案在多大程度上能提升无监督分割解的质量？
• RQ5 所提出的框架在不固定全局规则的前提下，能在多大程度上以局部、自适应方式处理拓扑先验（如包含约束）？

主要发现

• 所提出的结合列生成法的多切分框架，对包括包含先验和4节点环正则化在内的广泛高阶分割模型，实现了全局最优解，运行时间相比先前方法至少提升两倍。
• 奇轮不等式在其他领域中虽有效，但在计算机视觉应用中并未显著收紧松弛，与非计算机视觉模型的预期相反。
• 基于ILP的分离过程在整体运行时间和解质量方面优于其他策略，但对这些过程的新扩展对于实现高效率至关重要。
• 采用辅助变量的多切分方法可在不牺牲运行时间的前提下实现高阶模型的精确优化，证明此类模型可被高效且全局地求解。
• 在含包含先验的监督分割中，MC-ICC（opt）变体在10个测试用例中全部达到最优解，像素准确率达到0.9496，优于近似方法如MPLP和LBP-LF2。
• 尽管LP松弛的整数性较差导致其运行速度慢于ILP，但CPLEX通过分支定界和探测技术显著加速了ILP求解，使得ILP在实际中比LP更快，尽管其最坏情况时间复杂度为指数级。