[论文解读] A Robust Regression Approach for Background/Foreground Segmentation

Shervin Minaee, Haoping Yu+1 more|arXiv (Cornell University)|Dec 16, 2014

Video Surveillance and Tracking Methods参考文献 14被引用 7

一句话总结

本文提出了一种基于回归的稳健方法，用于在屏幕内容和混合文档图像中进行背景/前景分割，通过使用DCT基函数建模平滑背景区域，并利用RANSAC识别尖锐不连续性（文本/图形）作为异常值。该方法在DjVu中优于k-means聚类，尤其在前景与背景强度范围重叠的情况下表现更优，并且可有效扩展至掌纹线提取，使用K=14个基函数。

ABSTRACT

Background/foreground segmentation has a lot of applications in image and video processing. In this paper, a segmentation algorithm is proposed which is mainly designed for text and line extraction in screen content. The proposed method makes use of the fact that the background in each block is usually smoothly varying and can be modeled well by a linear combination of a few smoothly varying basis functions, while the foreground text and graphics create sharp discontinuity. The algorithm separates the background and foreground pixels by trying to fit pixel values in the block into a smooth function using a robust regression method. The inlier pixels that can fit well will be considered as background, while remaining outlier pixels will be considered foreground. This algorithm has been extensively tested on several images from HEVC standard test sequences for screen content coding, and is shown to have superior performance over other methods, such as the k-means clustering based segmentation algorithm in DjVu. This background/foreground segmentation can be used in different applications such as: text extraction, separate coding of background and foreground for compression of screen content and mixed content documents, principle line extraction from palmprint and crease detection in fingerprint images.

研究动机与目标

• 解决在背景颜色平滑变化且可能与前景强度重叠的屏幕内容和扫描文档中实现准确背景/前景分割的挑战。
• 克服DjVu中基于聚类的方法（如k-means）的局限性，这些方法在前景与背景颜色相似或存在多种前景颜色时会失效。
• 开发一种利用背景区域平滑性并检测不连续性作为前景的分割方法，采用稳健回归。
• 将该方法的应用范围从屏幕内容扩展至其他图像分析任务，例如掌纹图像中的主纹线提取。

提出的方法

• 将每个图像块的背景建模为K个平滑变化的DCT基函数的线性组合。
• 使用RANSAC通过识别符合平滑模型的内点像素，稳健估计基函数的系数。
• 将不符合平滑模型的像素（即残差较大者）视为异常值，并将其分类为前景。
• 应用递归四叉树分解，从较大的块开始，仅在RANSAC无法找到足够内点时才进行细分。
• 使用l1-范数最小化进行稀疏分解，以在计算可行性范围内逼近l0-范数，从而强制残差误差的稀疏性。
• 通过仅保留最大连通分量的方式对分割结果进行后处理，以优化前景图，尤其在掌纹应用中效果显著。

实验结果

研究问题

• RQ1 使用DCT基函数的稳健回归是否能在屏幕内容图像的背景与前景分割中优于传统聚类方法（如k-means）？
• RQ2 该方法在处理前景与背景强度重叠的情况（如浅色文字位于浅色背景上）时效果如何？
• RQ3 该方法能否推广至屏幕内容之外的其他图像分析任务，例如低对比度掌纹图像中的主纹线检测？
• RQ4 用于建模复杂背景（如掌纹图像中的背景）时，最优基函数数量（K）是多少？
• RQ5 递归四叉树分解如何在降低计算成本的同时提高分割精度？

主要发现

• 所提方法在HEVC屏幕内容测试序列上显著优于DjVu中基于k-means聚类的分割方法，尤其在背景平滑变化的图像块中表现更优。
• 即使前景像素的强度值与背景强度重叠，该算法仍能成功分割前景像素，这是基于聚类方法的主要失败情形。
• 在掌纹图像中，使用K=14个基函数可实现精确的主纹线提取，证明了该方法对纹理复杂且低对比度背景的鲁棒性。
• 递归四叉树分解策略通过避免对所有块运行RANSAC，显著降低了计算量，同时保持了高分割精度。
• 使用l1-范数最小化的稀疏分解公式能有效将前景像素识别为稀疏误差项S中的大残差。
• 通过仅保留最大连通分量的后处理步骤，显著提升了前景图质量，尤其在噪声较多或背景复杂的区域。