[论文解读] 3D Crowd Counting via Geometric Attention-guided Multi-View Fusion

Qi Zhang, Antoni B. Chan|arXiv (Cornell University)|Mar 18, 2020

Video Surveillance and Tracking Methods参考文献 40被引用 4

一句话总结

本文提出一种基于3D高斯核密度图与几何注意力引导的多视角融合的3D多视角人群计数方法，通过将2D特征投影至3D空间并利用3D卷积网络进行特征融合，有效缓解尺度变化与遮挡问题，结合投影一致性损失实现端到端学习，在三个多视角数据集上实现了SOTA或更优性能。

ABSTRACT

Recently multi-view crowd counting using deep neural networks has been proposed to enable counting in large and wide scenes using multiple cameras. The current methods project the camera-view features to the average-height plane of the 3D world, and then fuse the projected multi-view features to predict a 2D scene-level density map on the ground (i.e., birds-eye view). Unlike the previous research, we consider the variable height of the people in the 3D world and propose to solve the multi-view crowd counting task through 3D feature fusion with 3D scene-level density maps, instead of the 2D density map on the ground plane. Compared to 2D fusion, the 3D fusion extracts more information of the people along the z-dimension (height), which helps to address the scale variations across multiple views. The 3D density maps still preserve the 2D density maps property that the sum is the count, while also providing 3D information about the crowd density. Furthermore, instead of using the standard method of copying the features along the view ray in the 2D-to-3D projection, we propose an attention module based on a height estimation network, which forces each 2D pixel to be projected to one 3D voxel along the view ray. We also explore the projection consistency among the 3D prediction and the ground truth in the 2D views to further enhance the counting performance. The proposed method is tested on the synthetic and real-world multiview counting datasets and achieves better or comparable counting performance to the state-of-the-art.

研究动机与目标

• 解决单视角人群计数在视野受限、遮挡严重或分辨率较低场景下的局限性，因视野范围有限与尺度变化问题导致的计数不准。
• 克服现有多视角方法中2D到2D特征融合的不足，该方法难以对齐不同视角中人体不同部位（如头部与脚部）的特征。
• 构建一个端到端的深度学习框架，通过预测3D场景级密度图以保留3D空间信息，提升计数的鲁棒性。
• 引入3D预测与2D相机视角之间的投影一致性损失，以增强特征对齐与模型泛化能力。
• 通过在3D空间中建模密度分布（包括垂直分布），实现更丰富的群体表征，为计数以外的应用提供可能。

提出的方法

• 利用带相机参数的可微分3D投影层，将多视角图像特征映射至3D世界坐标系中的多个高度平面。
• 使用3D高斯核构建3D密度图，以在3D空间中表示人群分布，且该图的总和等于总人数。
• 通过3D卷积神经网络（3D CNNs）融合多视角3D特征，生成3D场景级密度图预测结果。
• 引入几何注意力机制，通过强调多视角间一致且可靠的区域，引导特征融合过程。
• 应用投影一致性损失（PCM），将反投影后的3D预测结果与每个相机视角中的2D真实密度图进行比较。
• 采用多任务损失联合训练模型，包含3D监督、2D监督与投影一致性损失，以提升模型泛化能力。

实验结果

研究问题

• RQ1 3D特征融合是否能通过更好地建模垂直空间关系并减少尺度变化问题，在多视角人群计数中优于2D特征融合？
• RQ2 引入基于3D高斯核的密度图表示，是否能提升在大范围、宽视野或严重遮挡场景中人群计数的准确率与鲁棒性？
• RQ3 在3D预测与2D相机视角之间强制实施投影一致性，能在多大程度上提升模型性能与特征对齐效果？
• RQ4 所提出的3D多视角计数框架是否能在具有不同遮挡程度、分辨率与相机配置的多样化真实场景中实现良好泛化？
• RQ5 3D密度图表示是否不仅能支持计数，还能支持场景理解、可视化与3D场景重建？

主要发现

• 在PETS2009数据集上，所提方法优于所有基线方法与MVMS模型，达到所有对比方法中的最佳性能。
• 在DukeMTMC数据集上，方法性能与MVMS相当，且显著优于两种基线方法，尤其在人群密度较低、遮挡较少的条件下表现更优。
• 在CityStreet数据集上，所提方法在所有端到端多视角方法中表现最佳，显著优于'Detection + ReID'方法，展现出对高密度人群与严重遮挡的强鲁棒性。
• 消融实验表明，结合3D损失、2D监督与投影一致性损失（3D+2D+PCM）在所有数据集上均取得最佳性能，且最优超参数因数据集而异。
• 最优3D体素高度与高度平面数量因数据集而异：PETS2009为40cm与7个体素，DukeMTMC为10cm与36个体素，CityStreet为10cm与28个体素，反映出不同数据集在遮挡与分辨率特性上的差异。
• 3D高斯核表示支持人群分布的生动3D可视化，并可实现任意视角的场景重建，展现出其在更广泛应用中的潜力。