[论文解读] Efficient Multiscale Object-based Superpixel Framework

Felipe Belém, Benjamin Perret+3 more|arXiv (Cornell University)|Apr 7, 2022

Medical Image Segmentation Techniques被引用 7

一句话总结

本文提出SICLE，一种新颖的多尺度、基于目标的超像素框架，通过迭代种子过采样和基于目标的种子移除实现高精度、高效的超像素分割。通过泛化DISF和ODISF，SICLE确保了与显著性图质量无关的鲁棒边界分割，且在效率和效果上均优于当前最先进方法，执行时间最快可达OISF的2.5倍，且与SLIC相当。

ABSTRACT

Superpixel segmentation can be used as an intermediary step in many applications, often to improve object delineation and reduce computer workload. However, classical methods do not incorporate information about the desired object. Deep-learning-based approaches consider object information, but their delineation performance depends on data annotation. Additionally, the computational time of object-based methods is usually much higher than desired. In this work, we propose a novel superpixel framework, named Superpixels through Iterative CLEarcutting (SICLE), which exploits object information being able to generate a multiscale segmentation on-the-fly. SICLE starts off from seed oversampling and repeats optimal connectivity-based superpixel delineation and object-based seed removal until a desired number of superpixels is reached. It generalizes recent superpixel methods, surpassing them and other state-of-the-art approaches in efficiency and effectiveness according to multiple delineation metrics.

研究动机与目标

• 解决传统超像素方法缺乏目标感知能力且无法保留相关目标边界的局限性。
• 克服现有基于目标的超像素方法中计算成本高且对显著性图质量敏感的问题。
• 开发一种框架，实现在运行时进行多尺度超像素生成，并直接控制迭代次数。
• 通过允许有界且可控的迭代次数，泛化现有迭代式超像素方法（如DISF和ODISF），并提升效率。
• 在保持对不完美目标显著性图鲁棒性的同时，实现更优的分割精度和速度。

提出的方法

• SICLE从过采样种子开始，以提高捕获相关目标区域的可能性。
• 通过图像森林变换（Image Foresting Transform, IFT）迭代执行基于最优连通性的超像素分割，将像素分配给种子。
• 在每次迭代中，根据指数衰减曲线移除最不相关的部分种子，从而保留先前步骤中最准确的目标边界。
• 通过设定最大迭代次数，动态控制迭代次数，从而精确控制计算成本和输出尺度。
• 通过显著性图引入目标信息，但该方法在实际分割过程中不依赖该图，因此对图中错误具有鲁棒性。
• 该框架通过允许直接控制迭代次数，并在不同目标尺度下保持高性能，泛化了DISF和ODISF。

实验结果

研究问题

• RQ1 能否在单次执行中实现多尺度分割，同时保持高边界准确性和低计算成本？
• RQ2 如何使基于目标的超像素分割对输入显著性图中的错误具有鲁棒性？
• RQ3 与传统的种子重新计算方法相比，受控迭代限制的迭代种子移除在效率和准确性方面能提升多少？
• RQ4 与SLIC和OISF等标准超像素方法相比，过采样结合基于目标的种子修剪是否能在速度和边界分割方面表现更优？
• RQ5 是否可以设计出DISF和ODISF的泛化形式，实现对迭代次数的直接控制而不牺牲性能？

主要发现

• SICLE在所有测试数据集（包括ECSSD、PASCAL-S和DUT-OMRON）上的边界准确度（以UE衡量）达到最佳或接近最佳表现。
• 在ECSSD数据集上，SICLE在750个超像素时的平均执行时间为0.361秒，优于OISF（1.182秒），且在高超像素数量下快于SLIC（0.477秒）。
• SICLE的计算复杂度为O(|V| log|V|)，主要源于IFT执行，但由于最多仅5次迭代，实际运行速度比SLIC更快。
• 该方法对显著性图错误具有鲁棒性：即使在低质量图上，SICLE仍能保持高边界准确度，而OISF在错误图上性能显著下降。
• SICLE在不同目标类型和尺度下均能生成一致且高质量的超像素结果，如与SH、ERS和OISF的定性对比所示。
• 通过在每次迭代中设定期望的超像素数量，SICLE实现了运行时的多尺度超像素生成，无需进行多次独立运行。