[论文解读] Deep Multi-camera People Detection

Tatjana Chavdarova, François Fleuret|arXiv (Cornell University)|Feb 15, 2017

Video Surveillance and Tracking Methods参考文献 20被引用 5

一句话总结

本文提出了首个用于多摄像头人员检测的端到端深度学习框架，该框架在多个同步、重叠的摄像头视图中联合融合外观特征。通过在大规模单视角数据集上微调单目行人检测器，再在较小的多摄像头数据集上联合训练多视角架构，该方法在 PETS 2009 基准测试中实现了最先进性能，显著优于现有方法，同时避免了背景减除，并对遮挡具有更强的鲁棒性。

ABSTRACT

This paper addresses the problem of multi-view people occupancy map estimation. Existing solutions for this problem either operate per-view, or rely on a background subtraction pre-processing. Both approaches lessen the detection performance as scenes become more crowded. The former does not exploit joint information, whereas the latter deals with ambiguous input due to the foreground blobs becoming more and more interconnected as the number of targets increases. Although deep learning algorithms have proven to excel on remarkably numerous computer vision tasks, such a method has not been applied yet to this problem. In large part this is due to the lack of large-scale multi-camera data-set. The core of our method is an architecture which makes use of monocular pedestrian data-set, available at larger scale then the multi-view ones, applies parallel processing to the multiple video streams, and jointly utilises it. Our end-to-end deep learning method outperforms existing methods by large margins on the commonly used PETS 2009 data-set. Furthermore, we make publicly available a new three-camera HD data-set. Our source code and trained models will be made available under an open-source license.

研究动机与目标

• 解决现有多摄像头人员检测方法依赖背景减除所导致的局限性，尤其在人群密集场景中因前景斑块相互连接而性能下降的问题。
• 利用深度学习实现多视角人员检测，通过从大规模单目数据集迁移知识来克服大规模多摄像头数据集缺乏的限制。
• 开发一种联合多视角检测架构，能够并行处理多个摄像头流，并自动学习跨视角特征对应关系。
• 发布一个全新的、高质量的三摄像头高清数据集，校准精度更高，以支持未来研究。

提出的方法

• 在大规模单视角行人检测数据集上微调最先进的单目行人检测神经网络（如 R-CNN 或 Faster R-CNN），以构建一个鲁棒的基础模型。
• 通过在不同视角之间共享早期卷积层，并使用共享的可训练融合层连接它们，构建一个多视角深度神经网络，以学习跨视角的特征映射。
• 在较小的多摄像头数据集上训练联合多视角网络，使用微调后的单目模型权重初始化早期卷积层，以提升收敛速度和性能。
• 采用端到端训练策略，联合优化所有视角的检测置信度和定位精度，无需依赖手工设计的特征或背景减除。
• 应用上下文填充和数据归一化技术，以提升对视角间校准不一致性的鲁棒性，特别是在存在斜坡的场景中。
• 在 PETS 2009 数据集上采用多折交叉验证策略评估泛化能力，使用独立的训练与测试划分以评估性能稳定性。

实验结果

研究问题

• RQ1 端到端深度学习方法是否能优于依赖背景减除和手工特征的现有多摄像头人员检测方法？
• RQ2 使用深度特征联合处理多个摄像头视角，是否能提升在人群密集场景中的检测准确率和鲁棒性？
• RQ3 在大规模单目数据集上预训练的模型，是否能在小规模多摄像头数据集上微调后，有效泛化于联合检测任务？
• RQ4 多视角之间的校准不一致性在多大程度上影响性能？模型是否能自动缓解这些影响？
• RQ5 在 PETS 2009 数据集中使用全部七个视角（包括已知校准问题的视角），是否能相比仅使用子集提升检测性能？

主要发现

• 所提方法在 PETS 2009 数据集上优于现有最先进多视角方法，当使用全部七个视角时，平均检测精度（MODP）达到 0.68，优于最佳先前方法的 0.66。
• 在 PETS 2009 数据集子集上微调后，方法实现了 0.94 的平均检测准确率（MODA），显著优于先前方法报告的约 0.75–0.79 的 MODA 值。
• 即使使用全部七个视角（包括已知校准不一致的视角），性能仅出现微小提升而非下降，表明对校准误差具有强鲁棒性。
• 模型在未进行特定数据集归一化或微调的情况下仍表现出良好泛化能力，在完整测试序列上实现了 0.75 的 MODP。
• 通过跨视角使用外观特征，模型能够有效过滤掉常在基于背景减除的方法中引发误报的非行人前景物体。
• 在多个随机训练-测试划分中，方法表现出强性能稳定性，性能指标标准差极低（例如，微调设置下 MODP 的标准差为 0.02，精度为 0.01）。