[论文解读] Cross-View Cross-Scene Multi-View Crowd Counting

Qi Zhang, Wei Lin+1 more|arXiv (Cornell University)|May 3, 2022

Video Surveillance and Tracking Methods被引用 8

一句话总结

本文提出了一种新颖的跨视角跨场景（CVCS）多视角人群计数框架，通过几何引导注意力机制实现动态视角融合，并采用噪声视角正则化来处理非对应误差，从而在多样化场景和相机布局下实现良好泛化。该模型在大规模合成多相机数据集上进行训练，通过无监督域自适应技术在真实世界数据集上实现最先进性能，优于在相同场景下进行完全监督训练的基线方法。

ABSTRACT

Multi-view crowd counting has been previously proposed to utilize multi-cameras to extend the field-of-view of a single camera, capturing more people in the scene, and improve counting performance for occluded people or those in low resolution. However, the current multi-view paradigm trains and tests on the same single scene and camera-views, which limits its practical application. In this paper, we propose a cross-view cross-scene (CVCS) multi-view crowd counting paradigm, where the training and testing occur on different scenes with arbitrary camera layouts. To dynamically handle the challenge of optimal view fusion under scene and camera layout change and non-correspondence noise due to camera calibration errors or erroneous features, we propose a CVCS model that attentively selects and fuses multiple views together using camera layout geometry, and a noise view regularization method to train the model to handle non-correspondence errors. We also generate a large synthetic multi-camera crowd counting dataset with a large number of scenes and camera views to capture many possible variations, which avoids the difficulty of collecting and annotating such a large real dataset. We then test our trained CVCS model on real multi-view counting datasets, by using unsupervised domain transfer. The proposed CVCS model trained on synthetic data outperforms the same model trained only on real data, and achieves promising performance compared to fully supervised methods that train and test on the same single scene.

研究动机与目标

• 解决现有多视角人群计数模型仅限于单一场景和固定相机布局下泛化能力不足的问题。
• 实现在多视角人群计数中跨不同场景和任意相机布局的有效泛化。
• 开发一种鲁棒模型，能够在不同几何配置下动态选择并融合多个相机的特征。
• 通过噪声注入正则化策略，缓解因相机标定不准确或特征错位导致的非对应误差。
• 构建大规模合成多相机人群计数数据集，以支持在多样化场景和相机视角组合下的训练。

提出的方法

• 模型使用VGG-Net主干网络从每个相机提取单视角特征。
• 基于相机布局几何信息，利用相机投影矩阵将特征投影到平均高度平面上。
• 注意力机制根据物体到相机的距离选择相关视角，实现多视角特征的动态融合。
• 通过最大池化层将选定特征融合为统一表征，用于场景级密度预测。
• 在训练过程中通过注入错误特征实施噪声视角正则化，以提升对非对应误差的鲁棒性。
• 通过无监督域自适应技术，在无需人群标注的情况下对合成训练模型进行微调，以适应真实测试图像。

实验结果

研究问题

• RQ1 多视角人群计数模型能否在不同场景和任意相机布局下实现有效泛化？
• RQ2 模型如何在不同相机配置和场景几何结构下，动态选择并融合多个相机的特征？
• RQ3 非对应误差对多视角计数的影响如何？在训练过程中如何有效缓解此类误差？
• RQ4 大规模合成数据集能否有效训练模型，以实现真实世界中跨场景的多视角人群计数？
• RQ5 当将合成训练模型迁移至真实世界测试场景时，无监督域自适应是否能显著提升性能？

主要发现

• 在合成数据上训练的CVCS模型优于仅在真实数据上训练的模型，证明了合成数据在跨场景泛化中的有效性。
• 在使用无监督域自适应微调后，CVCS模型在真实测试数据上的平均绝对误差（MAE）达到5.17，优于在真实数据上训练的基线方法。
• 与未使用自适应的相同模型相比，引入无监督域自适应使误差降低1.5–2.0 MAE，表明域差距被有效缓解。
• 采用相机选择机制与噪声视角正则化的模型，其误差低于主干网络或MVMS基线，证明了所提模块的有效性。
• 仅在两个真实场景（RealC）上训练导致误差较高，而使用包含多样化场景和视角的合成数据训练则显著提升了泛化能力。
• CVCS模型在性能上与在相同场景下完全监督训练的基线方法相当，验证了其在真实世界部署中的实用性。