[论文解读] A New Algorithm for Interactive Structural Image Segmentation

Alexandre Noma, Ana Beatriz Vicentim Graciano+3 more|ArXiv.org|May 13, 2008

Medical Image Segmentation Techniques参考文献 17被引用 13

一句话总结

该论文提出了一种新颖的交互式图像分割算法，利用属性关系图（ARGs）对物体进行建模，并通过形变图将模型与输入图像匹配，从而在存在拓扑差异的情况下仍能实现高效、结构感知的分割。该方法相比先前工作具有更快的性能（O(|Vi||Vm|)）和更强的鲁棒性与可重用性，且在自然图像和目标特定色彩图像上均取得了高质量的分割结果。

ABSTRACT

This paper proposes a novel algorithm for the problem of structural image segmentation through an interactive model-based approach. Interaction is expressed in the model creation, which is done according to user traces drawn over a given input image. Both model and input are then represented by means of attributed relational graphs derived on the fly. Appearance features are taken into account as object attributes and structural properties are expressed as relational attributes. To cope with possible topological differences between both graphs, a new structure called the deformation graph is introduced. The segmentation process corresponds to finding a labelling of the input graph that minimizes the deformations introduced in the model when it is updated with input information. This approach has shown to be faster than other segmentation methods, with competitive output quality. Therefore, the method solves the problem of multiple label segmentation in an efficient way. Encouraging results on both natural and target-specific color images, as well as examples showing the reusability of the model, are presented and discussed.

研究动机与目标

• 解决在复杂结构和外观变化下实现高效、交互式分割的挑战。
• 克服现有基于模型的分割方法在模型图与输入图之间存在拓扑不匹配时的局限性。
• 开发一种结合外观与结构特征的方法，利用用户定义的轨迹实现鲁棒分割。
• 实现在无需重新训练或从头定义模型的情况下，跨相似图像复用模型。
• 在保持高分割质量的同时，相比先前基于ARG的分割方法提升计算效率。

提出的方法

• 将输入图像和用户定义的模型表示为属性关系图（ARGs），其中顶点表示图像区域，边表示空间或结构关系。
• 将外观特征（如颜色）编码为顶点属性，结构关系则作为ARG中边的属性进行建模。
• 引入一种新结构——形变图，用于表示当模型ARG与输入顶点匹配时其局部结构的改变，从而实现拓扑灵活性。
• 将分割问题形式化为图匹配问题，通过最小化形变成本来实现，每个输入顶点独立匹配以最小化结构失真。
• 采用优化技术计算输入图的标记，使总形变成本最小化，其代价函数平衡外观相似性与结构相似性。
• 通过“印章”机制实现模型的可重用性：一旦在参考图像上定义模型，即可通过将印章放置在感兴趣区域来应用于其他图像。

实验结果

研究问题

• RQ1 在交互式分割中，如何有效处理模型图与输入图像图之间的拓扑差异？
• RQ2 与传统的ARG匹配相比，基于形变的图匹配方法是否能提升分割速度与鲁棒性？
• RQ3 单个用户定义的模型在外观不同但结构相似的图像之间，能在多大程度上实现复用？
• RQ4 在复杂场景中，外观与结构特征的融合对分割精度有何影响？
• RQ5 能否使分割过程独立于顶点标记顺序，同时保持高性能？

主要发现

• 所提算法的时间复杂度为O(|Vi||Vm|)，显著快于文献[4]中先前方法的Ω(|Vi||Vm|²)复杂度。
• 该方法在伯克利分割数据库的自然彩色图像上实现了高精度分割，即使在纹理复杂或结构复杂的区域（如山脉和人脸）也表现良好。
• 模型展现出强大的可重用性：同一用户定义的笔画模型可成功分割XM2VTS数据库及网络检索图像中相似的物体。
• 形变图方法能有效处理拓扑不匹配问题，例如当输入边连接过度分割的区域并映射到模型中不同部分时。
• 由于模型中引入了结构约束，即使输入图像在光照、纹理或物体位置上存在变化，分割质量依然保持鲁棒。
• 该方法在匹配过程中不依赖顶点标记顺序，提升了结果的一致性与性能。