[论文解读] Better Foreground Segmentation Through Graph Cuts

Nicholas R. Howe, Alexandra Deschamps|arXiv (Cornell University)|Jan 21, 2004

Video Surveillance and Tracking Methods参考文献 7被引用 73

一句话总结

本文提出了一种基于图割的前景分割方法，通过利用局部像素连通性并最小化能量函数，改进了传统形态学操作，实现了更清晰、更精确的分割结果。在噪声合成数据上，该方法将分割误差降低了三分之一，并在真实世界视频序列中显著优于标准方法，尤其在保持边缘保真度方面表现优异。

ABSTRACT

For many tracking and surveillance applications, background subtraction provides an effective means of segmenting objects moving in front of a static background. Researchers have traditionally used combinations of morphological operations to remove the noise inherent in the background-subtracted result. Such techniques can effectively isolate foreground objects, but tend to lose fidelity around the borders of the segmentation, especially for noisy input. This paper explores the use of a minimum graph cut algorithm to segment the foreground, resulting in qualitatively and quantitiatively cleaner segmentations. Experiments on both artificial and real data show that the graph-based method reduces the error around segmented foreground objects. A MATLAB code implementation is available at http://www.cs.smith.edu/~nhowe/research/code/#fgseg

研究动机与目标

• 为解决传统形态学操作在清理背景减除图像时存在的局限性，这些操作常导致物体边界模糊或失真。
• 通过使用最小图割算法，保留局部结构并减少噪声引起的误差，提升前景分割的准确性。
• 提供一种时序稳定的分割方法，在保持视频帧间一致性的同时忠实反映原始图像数据。
• 在合成数据和真实世界视频数据上，通过与人工标注的真值进行对比，评估该方法的性能。
• 证明图割方法可产生比标准方法更高保真度的分割结果，从而支持对可靠前景掩码有需求的新应用。

提出的方法

• 该方法构建一个图结构，其中每个像素为一个节点，边表示相邻像素之间的空间接近度和强度差异。
• 将当前帧的像素值与学习得到的背景模型进行比较，利用差异分配边权重，反映像素属于前景或背景的可能性。
• 使用标准算法计算最小二路图割，通过最小化全局能量函数将图划分为前景和背景区域。
• 能量函数同时包含数据保真度（像素与背景模型匹配程度）和光滑性（除非有强烈证据，否则鼓励相邻像素共享标签）。
• 该方法避免了阈值处理，通过在图构建中使用连续的像素差异，保留了二值化分割中丢失的细微变化。
• 该方法逐帧应用于视频序列，结果与形态学后处理方法及人工标注的真值进行对比。

实验结果

研究问题

• RQ1 与传统形态学操作相比，基于图割的方法是否能降低在噪声背景减除图像中的分割误差？
• RQ2 与形态学技术相比，该图割方法在保留前景轮廓的精细细节和边缘方面表现如何？
• RQ3 该图割方法在多大程度上提升了视频帧之间的时序一致性？
• RQ4 该方法在低对比度物体、阴影或纹理化背景等挑战性条件下表现如何？
• RQ5 与标准形态学滤波相比，该方法在分割精度与计算效率之间存在何种权衡？

主要发现

• 在高噪声合成数据上，与形态学操作相比，图割方法将分割误差降低了至少三分之一。
• 在噪声较低的合成数据上，误差降低幅度更大，表明其对噪声具有更强的鲁棒性。
• 在真实世界视频序列中，包括低对比度服装的Dancer片段，图割方法相比标准技术显著降低了误差。
• 该方法比形态学操作更有效地保留了边缘细节，后者往往导致物体边界模糊或侵蚀。
• 尽管计算成本较高，但在较低分辨率下仍可实现实时性能，且随着硬件速度提升，性能预期将进一步提高。
• 图割方法在复杂纹理区域或部分遮挡区域表现出对真值更高的保真度。