[论文解读] Fully Convolutional Neural Networks for Crowd Segmentation

Kai Kang, Xiaogang Wang|arXiv (Cornell University)|Nov 17, 2014

Video Surveillance and Tracking Methods参考文献 37被引用 122

一句话总结

本文提出一种全卷积神经网络（FCNN），用于实时人群分割，能够通过一次前向传播处理整幅图像，无需逐块扫描。通过多阶段和融合训练整合外观、运动和结构线索，该方法在两个新创建的大规模人群分割数据集上实现了最先进性能，City数据集上的AUC得分最高达0.9761。

ABSTRACT

In this paper, we propose a fast fully convolutional neural network (FCNN) for crowd segmentation. By replacing the fully connected layers in CNN with 1 by 1 convolution kernels, FCNN takes whole images as inputs and directly outputs segmentation maps by one pass of forward propagation. It has the property of translation invariance like patch-by-patch scanning but with much lower computation cost. Once FCNN is learned, it can process input images of any sizes without warping them to a standard size. These attractive properties make it extendable to other general image segmentation problems. Based on FCNN, a multi-stage deep learning is proposed to integrate appearance and motion cues for crowd segmentation. Both appearance filters and motion filers are pretrained stage-by-stage and then jointly optimized. Different combination methods are investigated. The effectiveness of our approach and component-wise analysis are evaluated on two crowd segmentation datasets created by us, which include image frames from 235 and 11 scenes, respectively. They are currently the largest crowd segmentation datasets and will be released to the public.

研究动机与目标

• 解决高密度公共监控场景中实时、准确的人群分割挑战。
• 通过提出全卷积架构，克服逐块扫描CNN推理的计算低效问题。
• 将外观、运动和结构边缘等多种线索整合到统一的深度学习框架中，以提升分割鲁棒性。
• 创建并发布两个大规模、多样化的群体分割数据集（235个和11个摄像头视角），以支持未来研究。
• 通过在多样化数据上训练并在未见场景上测试，证明方法在不同场景间的泛化能力，实现最小领域偏移。

提出的方法

• 用1×1卷积核替换CNN中的全连接层，实现端到端、全图像分割，具备平移不变性并支持可变输入尺寸。
• 在多阶段、分阶段预训练与联合微调的流程中，分别为外观、运动（背景减除）和结构（边缘检测）特征训练独立的FCNN分支。
• 实现三种融合策略：输入融合（早期输入拼接）、特征融合（高层特征后期拼接）和决策融合（对最终预测进行投票）。
• 推理时仅需单次前向传播，实现在全分辨率图像上的实时处理，无需图像缩放或变形。
• 利用卷积层的空间不变性，确保在不同图像尺度和视角下保持一致的特征学习。
• 在深层架构中应用最大池化和ReLU激活，从原始图像中提取分层特征，随后通过上采样实现密集预测。

实验结果

研究问题

• RQ1 全卷积网络能否在无需逐块扫描的情况下实现实时、全图像的人群分割？
• RQ2 在复杂人群场景中，外观、运动和结构线索各自及联合使用如何提升分割准确率？
• RQ3 多阶段、多线索深度学习框架在多样化摄像头视角和环境条件下，其泛化能力达到何种程度？
• RQ4 在人群分割中，结合外观、运动和结构线索时，最优融合策略（输入级、特征级或决策级）是什么？
• RQ5 与传统手工设计特征（如HOG、GMM）及基线深度学习模型相比，该方法在大规模真实世界人群数据集上的表现如何？

主要发现

• 所提出的FCNN实现单次前向传播推理，达到实时性能，GPU上每帧处理时间从逐块方法的5分钟缩短至1秒以内。
• 仅使用运动信息的FCNN在City数据集上达到最高AUC 0.9739，优于外观和结构模型，归因于动态场景中强运动线索。
• 特征融合与决策融合方法均提升了单模型性能，其中特征融合在Shanghai World Expo数据集上AUC达0.9511，在City数据集上达0.9724。
• 融合模型有效减少误报（如建筑物和树木）与漏报（如远处或静止行人），体现出各分支的互补优势。
• 仅外观模型在Shanghai World Expo数据集上AUC达0.9376，显著优于HOG+SVM（0.8818）和GMM（0.8068），证明了学习特征的优越性。
• City数据集包含11个摄像头视角和更长的视频片段，支持更好的背景建模，使GMM的AUC达0.8923，高于Shanghai数据集，凸显了时间数据质量的影响。