[论文解读] An efficient hierarchical graph based image segmentation

Silvio Jamil F. Guimarães, Jean Cousty+2 more|arXiv (Cornell University)|Jun 13, 2012

Medical Image Segmentation Techniques参考文献 10被引用 4

一句话总结

本文提出了一种基于Felzenszwalb与Huttenlocher准则的分层图像分割方法，利用最小生成树确保尺度一致性。该方法生成满足因果性和位置性原则的完整分层分割结果，无需参数调优，同时保持与原始方法相当的计算效率。

ABSTRACT

Hierarchical image segmentation provides region-oriented scalespace, i.e., a set of image segmentations at different detail levels in which the segmentations at finer levels are nested with respect to those at coarser levels. Most image segmentation algorithms, such as region merging algorithms, rely on a criterion for merging that does not lead to a hierarchy, and for which the tuning of the parameters can be difficult. In this work, we propose a hierarchical graph based image segmentation relying on a criterion popularized by Felzenzwalb and Huttenlocher. We illustrate with both real and synthetic images, showing efficiency, ease of use, and robustness of our method.

研究动机与目标

• 为解决Felzenszwalb与Huttenlocher的非分层分割方法存在的局限性，该方法因区域数量不稳定及参数变化时轮廓移动而违反因果性和位置性原则。
• 开发一种分层分割框架，同时生成所有尺度层级的分割结果，确保分割结果的嵌套性与各尺度下轮廓的稳定性。
• 通过将尺度自然地嵌入为层次结构而非单一阈值，消除对人工参数调优的需求。
• 在保持与原始方法相当的计算效率的同时，提供完整的多尺度表示。

提出的方法

• 该方法在基于图像4-邻接结构构建的边加权图上构建最小生成树（MST），边权重基于RGB颜色差异。
• 采用基于尺度的合并准则，定义为两个方向尺度度量的最大值：$ S(X,Y) = \max(S_Y(X), S_X(Y)) $，其中 $ S_Y(X) = (\mathrm{Diff}(X,Y) - \mathrm{Int}(X)) \times |X| $。
• 当 $ k \geq S(X,Y) $ 时合并区域，其中 $ k $ 作为控制细节水平的尺度参数。
• 通过按边权重非递减顺序处理边，仅在满足尺度准则时才合并区域，从而确保分割结果的嵌套性与稳定性。
• 通过显著性图可视化生成的层次结构，该图编码了每个区域出现或合并的尺度。
• 应用面积滤波器，移除小于500像素的区域，与原始方法一致。

实验结果

研究问题

• RQ1 能否设计一种分层分割方法，同时满足因果性和位置性原则，确保在不同尺度下分割结果的稳定与一致？
• RQ2 是否可能在保持计算效率的同时，消除基于图的分割中对人工参数调优的需求？
• RQ3 与Felzenszwalb与Huttenlocher的原始方法相比，所提方法在视觉质量、鲁棒性及各尺度下的一致性方面表现如何？
• RQ4 能否高效地计算并使用显著性图可视化完整的分割层次结构？

主要发现

• 对于321×481的图像，该方法在2.7秒内完成完整分层分割，仅比原始方法的1.3秒略慢。
• 该方法同时满足因果性和位置性原则：随着尺度增加，区域数量单调递减，且轮廓在不同尺度间保持稳定。
• 在合成图像上，该方法正确保留了区域的层次嵌套结构，尺度为1000、2000、5000、140000和224000的分割结果表现出一致的合并行为。
• 在Berkeley分割数据集图像上，该层次结构包含240至443个尺度层级，主观评估表明各层级均产生高质量的分割结果。
• 与原始方法相比，该方法在含噪图像上表现更鲁棒，尤其在70%和90%盐椒噪声下，区域边界的保持效果更优。
• 对于固定区域数（如15个），该方法从层次结构中提取的分割结果在质量上可匹配或超越原始方法中通过人工调优获得的最佳结果。