[论文解读] MRCNet: Crowd Counting and Density Map Estimation in Aerial and Ground Imagery

Reza Bahmanyar, Eleonora Vig+1 more|arXiv (Cornell University)|Sep 27, 2019

Video Surveillance and Tracking Methods参考文献 25被引用 22

一句话总结

本文提出 MRCNet，一种用于航拍和地面影像中精确人群计数与高分辨率密度图估计的多分辨率编码器-解码器卷积神经网络。通过利用受 FPN 启发的 VGG-16 特征与侧向连接，并优化两阶段损失函数，MRCNet 在新型 DLR-ACD 航拍人群数据集和 ShanghaiTech CCTV 基准测试上均取得最先进性能，在平均绝对误差和 F1 分数方面创下新的 SOTA 结果。

ABSTRACT

In spite of the many advantages of aerial imagery for crowd monitoring and management at mass events, datasets of aerial images of crowds are still lacking in the field. As a remedy, in this work we introduce a novel crowd dataset, the DLR Aerial Crowd Dataset (DLR-ACD), which is composed of 33 large aerial images acquired from 16 flight campaigns over mass events with 226,291 persons annotated. To the best of our knowledge, DLR-ACD is the first aerial crowd dataset and will be released publicly. To tackle the problem of accurate crowd counting and density map estimation in aerial images of crowds, this work also proposes a new encoder-decoder convolutional neural network, the so-called Multi-Resolution Crowd Network MRCNet. The encoder is based on the VGG-16 network and the decoder is composed of a set of bilinear upsampling and convolutional layers. Using two losses, one at an earlier level and another at the last level of the decoder, MRCNet estimates crowd counts and high-resolution crowd density maps as two different but interrelated tasks. In addition, MRCNet utilizes contextual and detailed local information by combining high- and low-level features through a number of lateral connections inspired by the Feature Pyramid Network (FPN) technique. We evaluated MRCNet on the proposed DLR-ACD dataset as well as on the ShanghaiTech dataset, a CCTV-based crowd counting benchmark. The results demonstrate that MRCNet outperforms the state-of-the-art crowd counting methods in estimating the crowd counts and density maps for both aerial and CCTV-based images.

研究动机与目标

• 为解决人群监控与管理研究中缺乏大规模航拍人群数据集的问题。
• 开发一种深度学习模型，能够在具有挑战性的航拍和地面影像中实现精确的人群计数与高分辨率密度图估计。
• 提升对尺度变化、遮挡以及密集人群场景中低分辨率人形外观的鲁棒性。
• 通过设计具有上下文与局部特征融合的多分辨率架构，实现在航拍与 CCTV 人群计数之间的迁移学习。
• 发布 DLR 航拍人群数据集（DLR-ACD），该数据集是首个公开的航拍人群数据集，包含 33 幅图像中总计 226,291 个标注人群。

提出的方法

• MRCNet 使用基于 VGG-16 的编码器从输入图像中提取分层特征。
• 解码器采用双线性上采样与卷积层，以重建高分辨率密度图。
• 应用两种损失函数：一种作用于解码器的中间层，另一种作用于最终输出层，联合优化人群计数与密度图质量。
• 编码器与解码器特征图之间的侧向跳跃连接采用逐元素相加操作，受特征金字塔网络（FPN）启发，以融合高层上下文特征与低层细节特征。
• 网络通过数据增强（包括随机裁剪、旋转、翻转与缩放）进行端到端训练，以提升泛化能力。
• 模型在所提出的 DLR-ACD 数据集与标准的 ShanghaiTech 基准上进行评估，以检验跨域迁移能力。

实验结果

研究问题

• RQ1 深度学习模型是否能在航拍与基于 CCTV 的影像中均实现人群计数与密度图估计的最先进性能？
• RQ2 通过侧向连接实现的多分辨率特征融合，在提升小尺寸与密集排列目标的检测精度方面效果如何？
• RQ3 在航拍影像上训练的模型在地面监控数据上的泛化能力如何，反之亦然？
• RQ4 与单损失方法相比，所提出的两阶段损失策略是否能同时提升计数估计与密度图质量？
• RQ5 新发布的大型航拍人群数据集是否能显著推动航拍人群分析研究的发展？

主要发现

• 在 DLR-ACD 数据集上，MRCNet 实现了最低的平均归一化绝对误差（MNAE）0.21，优于所有基线模型。
• MRCNet 在估计密度图中的人群检测任务上取得了 0.49 的 F1 分数，为所有对比方法中的最高值。
• 在 ShanghaiTech Part-A 基准上，MRCNet 实现了 66.2 的平均绝对误差（MAE），为所有最先进方法中的最低值。
• MRCNet 在 ShanghaiTech Part-A 上实现了 102.0 的 RMSE，同样为报告的最佳结果，表明其具有卓越的计数估计精度。
• 模型的推理时间仅为每张 256×256 图像块 0.03 ms，尽管参数量达 2030 万，仍表现出极高的效率。
• 定性结果表明，MRCNet 即使在密集与稀疏人群场景下，也能生成高分辨率且准确的密度图，但部分小目标因背景杂乱而被遗漏。