[论文解读] Masked-RPCA: Sparse and Low-rank Decomposition Under Overlaying Model and Application to Moving Object Detection

Amirhossein Khalilian-Gourtani, Shervin Minaee+1 more|arXiv (Cornell University)|Sep 17, 2019

Sparse and Compressive Sensing Techniques参考文献 27被引用 7

一句话总结

本文提出了一种新型的稀疏与低秩分解框架——Masked-RPCA，该框架通过将前景物体建模为叠加在背景之上而非相加，实现了无需后处理的直接掩码恢复。通过采用带线性化的交替方向法与总变差正则化，该方法在静态和动态背景下的前景检测中表现优异，在CDnet和I2R数据集上的F-measure与PSNR均优于RPCA和TVRPCA。

ABSTRACT

Foreground detection in a given video sequence is a pivotal step in many computer vision applications such as video surveillance system. Robust Principal Component Analysis (RPCA) performs low-rank and sparse decomposition and accomplishes such a task when the background is stationary and the foreground is dynamic and relatively small. A fundamental issue with RPCA is the assumption that the low-rank and sparse components are added at each element, whereas in reality, the moving foreground is overlaid on the background. We propose the representation via masked decomposition (i.e. an overlaying model) where each element either belongs to the low-rank or the sparse component, decided by a mask. We propose the Masked-RPCA algorithm to recover the mask and the low-rank components simultaneously, utilizing linearizing and alternating direction techniques. We further extend our formulation to be robust to dynamic changes in the background and enforce spatial connectivity in the foreground component. Our study shows significant improvement of the detected mask compared to post-processing on the sparse component obtained by other frameworks.

研究动机与目标

• 通过将现实世界中前景物体叠加在背景上的场景建模，解决传统RPCA的根本局限性，即假设低秩与稀疏分量为相加关系。
• 开发一种带掩码的分解框架，通过叠加模型联合恢复低秩背景、稀疏前景及其空间掩码。
• 通过将背景建模为低秩与稀疏分量的组合，提升对动态背景的鲁棒性，同时在前景掩码中强制实现空间连通性。
• 通过在优化过程中直接恢复前景掩码，消除对稀疏分量进行后处理的需要。
• 在水波和移动树叶等挑战性条件下，实现在基准数据集上的最先进前景检测性能。

提出的方法

• 将问题表述为 X = (1−W)∘L + W∘S，其中W为指示前景位置的二值掩码，L为低秩背景，S为稀疏前景。
• 提出M-RPCA方法，采用带线性化的ADMM求解非凸优化问题，联合恢复W、L与S，满足叠加模型约束。
• 在掩码W上引入总变差（TV）正则化，以强制前景对象的空间连通性，提升检测质量。
• 通过将动态背景建模为L + E（E为用于随机扰动如波浪或树叶的稀疏分量），将框架扩展为EM-RPCA。
• 采用带线性化的ADMM求解扩展后的优化问题，在合理假设下可保证收敛至KKT点。
• 通过S = W∘X从W和X中推导出S，避免直接优化S，从而简化框架结构。

实验结果

研究问题

• RQ1 与标准RPCA相比，假设叠加（而非相加）分量的带掩码分解模型是否能提升前景检测的准确性？
• RQ2 通过优化过程直接恢复掩码是否能消除对稀疏分量后处理的需要，并提升检测的鲁棒性？
• RQ3 该框架能否扩展以处理具有随机扰动（如水波或移动树叶）的动态背景？
• RQ4 通过总变差正则化在前景掩码中强制实现空间连通性，是否能提升真实视频序列中的检测性能？
• RQ5 在基准数据集上，所提出的EM-RPCA框架与TVRPCA和RPCA等最先进方法相比，其F-measure与PSNR表现如何？

主要发现

• 在WaterSurface序列中，EM-RPCA的F-measure达到0.88，显著优于RPCA（0.41），与TVRPCA（0.88）持平。
• 在Fountain序列中，EM-RPCA的F-measure为0.81，优于RPCA（0.57）和TVRPCA（0.80）。
• 在合成噪声实验中（SNR = 7.7 dB），EM-RPCA在Pedestrian序列上的PSNR为34.65，在Highway序列上为30.80，优于RPCA（34.10和31.14）。
• EM-RPCA的ROC曲线显示曲线下方面积略有提升，且恢复掩码W的直方图表明前景检测具有较高置信度。
• 视觉结果表明，当前景停止运动时，EM-RPCA比RPCA和TVRPCA更好地恢复了背景。
• 在Campus和Overpass序列中，EM-RPCA的F-measure分别为0.77和0.78，优于RPCA（0.72和0.46）。