[论文解读] Joint Background Reconstruction and Foreground Segmentation via A Two-stage Convolutional Neural Network

Xu Zhao, Yingying Chen+2 more|arXiv (Cornell University)|Jul 24, 2017

Video Surveillance and Tracking Methods参考文献 3被引用 8

一句话总结

本文提出一种两阶段端到端深度卷积神经网络，联合重建视频序列中的背景图像并分割前景物体。通过使用编码器-解码器网络进行背景重建，并结合重建的背景图像与当前帧的多通道全卷积网络（MCFCN），该方法同时利用语义上下文和运动线索，在CDNet 2014数据集上相比最先进方法实现4.9%的性能提升。

ABSTRACT

Foreground segmentation in video sequences is a classic topic in computer vision. Due to the lack of semantic and prior knowledge, it is difficult for existing methods to deal with sophisticated scenes well. Therefore, in this paper, we propose an end-to-end two-stage deep convolutional neural network (CNN) framework for foreground segmentation in video sequences. In the first stage, a convolutional encoder-decoder sub-network is employed to reconstruct the background images and encode rich prior knowledge of background scenes. In the second stage, the reconstructed background and current frame are input into a multi-channel fully-convolutional sub-network (MCFCN) for accurate foreground segmentation. In the two-stage CNN, the reconstruction loss and segmentation loss are jointly optimized. The background images and foreground objects are output simultaneously in an end-to-end way. Moreover, by incorporating the prior semantic knowledge of foreground and background in the pre-training process, our method could restrain the background noise and keep the integrity of foreground objects at the same time. Experiments on CDNet 2014 show that our method outperforms the state-of-the-art by 4.9%.

研究动机与目标

• 解决传统无监督背景建模方法在复杂场景（如夜间光照、阴影和伪装前景）下的局限性。
• 通过引入监督式、端到端的深度学习框架，克服经典方法对人工调参的依赖。
• 通过多任务学习联合优化背景重建与分割，提升前景分割的准确性。
• 通过预训练引入语义先验知识，增强对背景噪声的鲁棒性并保持前景完整性。

提出的方法

• 使用深层编码器-解码器子网络从训练帧中重建背景图像，编码丰富的场景结构先验知识。
• 将重建的背景图像作为参考，与当前输入帧拼接，形成六通道输入送入分割网络。
• 实现一个多通道全卷积网络（MCFCN），处理拼接后的输入以执行像素级前景分割。
• 通过结合重建损失（背景图像的L2损失）与分割损失（基于F-measure的损失）的多任务损失函数，联合优化网络。
• 在标注数据上预训练网络，嵌入前景与背景的语义知识，提升泛化能力与抗噪鲁棒性。
• 通过共享优化端到端训练两个子网络，使背景重建与前景分割相互促进。

实验结果

研究问题

• RQ1 与独立建模相比，联合优化背景重建与前景分割是否能在复杂视频场景中提升性能？
• RQ2 通过重建背景图像引入运动信息，在多大程度上能提升前景分割的准确性？
• RQ3 使用语义知识进行预训练，在阴影和低光照等挑战性条件下，如何影响前景分割的鲁棒性？
• RQ4 两阶段深度学习框架是否能在基准数据集上超越最先进无监督背景建模方法？

主要发现

• 所提方法在CDNet 2014基准测试中，F-measure相比最先进方法实现4.9%的相对提升。
• 采用联合优化的两阶段网络在11个类别中的10个类别上优于基线FCN（Baseline-2），证明了使用重建背景作为输入的优势。
• 在夜间视频、间歇性物体运动和热成像等挑战性类别中，该方法显著优于其他方法，部分情况下F-measure超过0.96。
• 该方法减少了阴影区域的误报，并产生更精细的前景边界，经定性对比验证。
• 与仅使用两阶段网络相比，联合优化策略使性能提升2.36%；通过完整联合训练，性能再提升2.54%，表明子网络之间存在显著的相互增益。
• 基于阈值分类的基线方法在重建背景上实现的F-measure低于0.6，凸显了深度学习分类器的必要性。