[论文解读] Background Subtraction via Generalized Fused Lasso Foreground Modeling

Bo Xin, Yuan Tian+2 more|arXiv (Cornell University)|Apr 14, 2015

Video Surveillance and Tracking Methods参考文献 20被引用 17

一句话总结

该论文提出了一种统一的背景减除框架，利用广义融合Lasso（GFL）正则化来建模结构化、连通的前景，同时结合低秩背景先验。通过将背景减除建模为一种联合正则化矩阵分解问题（前景通过自适应GFL正则化，背景通过低秩约束），该方法在多个基准数据集上实现了最先进性能，平均F-score较之前方法提升8%，在'lb'和'ap'等序列上提升超过10%。

ABSTRACT

Background Subtraction (BS) is one of the key steps in video analysis. Many background models have been proposed and achieved promising performance on public data sets. However, due to challenges such as illumination change, dynamic background etc. the resulted foreground segmentation often consists of holes as well as background noise. In this regard, we consider generalized fused lasso regularization to quest for intact structured foregrounds. Together with certain assumptions about the background, such as the low-rank assumption or the sparse-composition assumption (depending on whether pure background frames are provided), we formulate BS as a matrix decomposition problem using regularization terms for both the foreground and background matrices. Moreover, under the proposed formulation, the two generally distinctive background assumptions can be solved in a unified manner. The optimization was carried out via applying the augmented Lagrange multiplier (ALM) method in such a way that a fast parametric-flow algorithm is used for updating the foreground matrix. Experimental results on several popular BS data sets demonstrate the advantage of the proposed model compared to state-of-the-arts.

研究动机与目标

• 解决由于光照变化和动态背景导致的视频背景减除中前景碎片化与背景噪声问题。
• 在单一优化框架中统一监督学习（SML）与无监督学习（UML）范式于背景减除任务。
• 通过自适应广义融合Lasso正则化，显式建模前景结构连贯性——空间连通性与稀疏性。
• 通过矩阵分解联合利用前景结构与背景低秩特性，提升背景估计性能。
• 开发一种高效优化算法，实现快速收敛与并行化，支持实时应用。

提出的方法

• 将背景减除建模为矩阵分解问题，将观测视频矩阵分解为背景与前景分量。
• 对背景矩阵施加低秩约束，以利用小相机运动下的固有结构特性。
• 对前景矩阵应用自适应广义融合Lasso（GFL）正则化，以促进空间连通性与稀疏性，其中成对融合权重基于像素相似性确定。
• 将两种先验整合进统一优化框架，支持SML（使用纯背景帧）与UML（无标签）两种场景。
• 采用增广拉格朗日乘子（ALM）方法，结合交替方向法，使用快速参数流算法高效更新前景矩阵。
• 推导出SML的特例：通过约束观测矩阵的部分区域匹配给定背景帧，并假设测试背景向量位于所提供背景矩阵的列空间中。

实验结果

研究问题

• RQ1 能否有效建模前景结构先验（如空间连通性与稀疏性），以减少背景减除中的碎片化与噪声？
• RQ2 能否在统一框架中同时处理背景减除中的监督与无监督学习设置？
• RQ3 引入自适应广义融合Lasso正则化是否能相比现有方法实现更连贯、更准确的前景分割？
• RQ4 通过矩阵分解联合建模低秩背景与结构化前景，能否在标准基准上超越最先进方法？
• RQ5 与显式后处理技术相比，该方法在分割质量与鲁棒性方面表现如何？

主要发现

• 在Wallflower数据集的全部九个序列中，该方法均取得最高F-score，平均较第二好的方法提升8%。
• 在'lb'和'ap'等挑战性序列中，该方法F-score较第二好的模型提升超过10%，在困难场景中表现显著提升。
• 在SABS数据集中，该方法在第448帧取得0.876的F-score，优于所有其他模型，包括group lasso（0.848）与RPCA（0.802）。
• 即使在提供纯背景帧但代表性不足的情况下，该方法仍表现出鲁棒性，如'cam'序列中SML性能仅略高于UML（0.8382 vs. 0.8386），表明性能稳定。
• 自适应GFL正则化优于预定义的组结构（如3×3块或超像素）所采用的group lasso，避免了因刚性分组导致的伪影。
• 该算法平均仅需10–20次迭代即收敛，且前景矩阵的列方向更新支持高度并行化，支持高效实时部署。