[论文解读] Hierarchical Piecewise-Constant Super-regions

Imanol Luengo, Mark Basham+1 more|arXiv (Cornell University)|May 19, 2016

Medical Image Segmentation Techniques参考文献 25被引用 4

一句话总结

本文提出了一种新型超像素算法——分层分段常数超区域（HPCS），该算法在量化特征空间中使用各向异性去噪，随后通过基于图的分裂-合并策略生成高质量的超像素。该方法进一步推广为分层框架，生成逐渐更粗粒度的超区域，同时保持强图像边界，实现了计算成本和内存使用低的最先进性能。

ABSTRACT

Recent applications in computer vision have come to heavily rely on superpixel over-segmentation as a pre-processing step for higher level vision tasks, such as object recognition, image labelling or image segmentation. Here we present a new superpixel algorithm called Hierarchical Piecewise-Constant Super-regions (HPCS), which not only obtains superpixels comparable to the state-of-the-art, but can also be applied hierarchically to form what we call n-th order super-regions. In essence, a Markov Random Field (MRF)-based anisotropic denoising formulation over the quantized feature space is adopted to form piecewise-constant image regions, which are then combined with a graph-based split & merge post-processing step to form superpixels. The graph and quantized feature based formulation of the problem allows us to generalize it hierarchically to preserve boundary adherence with fewer superpixels. Experimental results show that, despite the simplicity of our framework, it is able to provide high quality superpixels, and to hierarchically apply them to form layers of over-segmentation, each with a decreasing number of superpixels, while maintaining the same desired properties (such as adherence to strong image edges). The algorithm is also memory efficient and has a low computational cost.

研究动机与目标

• 开发一种快速、内存高效的超像素算法，同时保持强边界贴合性。
• 将超像素过分割推广为分层框架，用于多尺度图像表示。
• 在减少超像素数量的同时保持感知质量和结构质量。
• 证明其可作为其他超像素方法的后处理步骤。
• 探索与高阶 MRF 模型集成以用于语义分割。

提出的方法

• 在量化特征空间中使用各向异性去噪将超像素生成建模为全局能量最小化问题。
• 应用基于马尔可夫随机场（MRF）的去噪公式，生成分段常数图像区域。
• 使用基于图的分裂-合并算法，将去噪后的区域细化为超像素。
• 通过递归地将该算法应用于超像素图，将方法推广为分层结构，形成 n 阶超区域。
• 采用 k-means++ 并结合多次重启，以稳定特征量化并减少初始化方差。
• 处理颜色和均值颜色特征，但可通过少量修改扩展至密集特征（如 SIFT 或滤波器组）。

实验结果

研究问题

• RQ1 简单的全局能量最小化框架能否实现与最先进方法相当的超像素质量？
• RQ2 分层过分割能否有效推广，以从细粒度区域生成更粗粒度且边界保持的超区域？
• RQ3 在减少区域数量的同时，分层 HPCS 框架是否能保持或提升边界贴合性？
• RQ4 HPCS 是否可作为高效后处理步骤，用于减少其他算法的超像素数量？
• RQ5 分层框架在语义分割任务中如何与高阶 MRF 潜力集成？

主要发现

• HPCS 在超像素质量上达到或优于最先进方法（如 SLIC 和 SEEDS），在 N=400 超像素下，BR = 0.650，CUE = 0.126，ASA = 0.875。
• 将 HPCS 作为第二层应用于 SLIC 生成的超像素，可将区域数量从 400 减少至平均 26 个，同时保持或略微提升性能指标。
• 分层后处理步骤每幅图像运行时间少于 0.5 秒，表现出极高的计算效率。
• 该方法在所有层级均保持强图像边界，定性结果表明在复杂场景中也表现出一致的边缘贴合性。
• 由于采用 k-means++ 多次重启，算法对初始化具有鲁棒性，各次运行结果稳定。
• 该框架可推广至其他特征空间，包括 SIFT 或滤波器组等密集特征，仅需极少实现修改。