[论文解读] Efficient Decomposition of Image and Mesh Graphs by Lifted Multicuts

Margret Keuper, Evgeny Levinkov+4 more|arXiv (Cornell University)|May 26, 2015

Medical Image Segmentation Techniques参考文献 35被引用 8

一句话总结

本文提出了提升型多子图问题（Lifted Multicut Problem, LMP），作为最小代价多子图问题（Minimum Cost Multicut Problem）的推广，可在图分解中引入长程约束。通过将多子图公式扩展至包含非相邻节点对之间的成对关系，作者开发了高效的原始启发式算法，在图像（BSDS-500）与网格（普林斯顿）分割基准上均取得了当前最优结果，证明了LMP在视觉应用中的有效性与通用性。

ABSTRACT

Formulations of the Image Decomposition Problem as a Multicut Problem (MP) w.r.t. a superpixel graph have received considerable attention. In contrast, instances of the MP w.r.t. a pixel grid graph have received little attention, firstly, because the MP is NP-hard and instances w.r.t. a pixel grid graph are hard to solve in practice, and, secondly, due to the lack of long-range terms in the objective function of the MP. We propose a generalization of the MP with long-range terms (LMP). We design and implement two efficient algorithms (primal feasible heuristics) for the MP and LMP which allow us to study instances of both problems w.r.t. the pixel grid graphs of the images in the BSDS-500 benchmark. The decompositions we obtain do not differ significantly from the state of the art, suggesting that the LMP is a competitive formulation of the Image Decomposition Problem. To demonstrate the generality of the LMP, we apply it also to the Mesh Decomposition Problem posed by the Princeton benchmark, obtaining state-of-the-art decompositions.

研究动机与目标

• 解决标准多子图问题（MP）在处理图像与网格图中非相邻节点间长程关系方面的局限性。
• 通过提出具有更强目标函数表达能力的广义公式，克服在密集像素网格图上求解MP时的NP难性与实际不可行性。
• 通过引入长程代价项，使基于多子图的分解方法可应用于完整像素网格图——此前因计算与建模约束而被避免——实现该目标。
• 在包括图像与网格分割在内的多样化图分解任务中，展示所提公式的通用性与有效性。
• 在真实世界视觉基准中，开发并评估适用于MP与新LMP公式的高效原始可行启发式算法。

提出的方法

• 提出最小代价提升型多子图问题（LMP），作为MP的推广，其目标函数代价不仅作用于相邻边，还作用于所有处于不同连通分量中的节点对。
• 设计两种高效的原始可行启发式算法（包括对Kernighan-Lin算法的扩展），用于求解MP与LMP实例。
• 对网格使用对偶图表示（每个三角形对应一个节点），以建模连通分量间的关系，并将LMP公式应用于网格分解。
• 通过在普林斯顿基准上使用留一法交叉验证，利用随机森林分类器从真实标注中学习边切割概率。
• 在顶点与边上计算多尺度几何特征（曲率、形状直径、二面角等），以生成28维的边特征。
• 通过可调的相邻分量间切割先验概率 $p^*$ 控制过分割与欠分割，辅以对超参数敏感性的消融研究。

实验结果

研究问题

• RQ1 与标准MP相比，具有长程约束的广义多子图公式是否能提升图像与网格图的分解精度？
• RQ2 高效的原始启发式算法在密集像素网格图上求解MP与LMP时，能在多大程度上克服以往的计算不可行性？
• RQ3 在无需组件语义标注的情况下，LMP公式是否在图像与网格分割基准上优于或匹配当前最优方法？
• RQ4 结果对超参数（如LMP中的先验切割概率 $p^*$ 与距离阈值 $d^*$）的敏感性如何？
• RQ5 LMP公式是否能通过统一的算法框架有效应用于图像与网格分解？

主要发现

• 在BSDS-500基准上，LMP公式的分解质量与当前最优方法无显著差异，表明其在图像分解任务中的竞争力。
• 在普林斯顿网格分割基准上，LMP结合Alg. 2的性能略优于[42, 33]，并接近当前最优方法[24]，且无需组件的语义标注。
• 每张网格模型的中位计算时间在2.20 GHz Intel i7笔记本上为51秒（提升阶段）与59秒（Alg. 2阶段），图平均含18,000个节点与27,000条边。
• 通过调整切割先验概率 $p^*$（从0.5至0.62），可有效控制过分割与欠分割，如图5所示。
• LMP公式通过为不同连通分量中的所有节点对分配目标函数值，使此前在标准MP中未建模的长程代价项得以实现。
• 该方法仅使用28维几何特征即实现高性能，显著降低了相比先前工作使用数百维特征的特征维度。