[论文解读] Crowd Transformer Network

Viresh Ranjan, Mubarak Shah+1 more|arXiv (Cornell University)|Apr 4, 2019

Video Surveillance and Tracking Methods参考文献 12被引用 6

一句话总结

本文提出人群变换器网络（CTN），一种端到端深度学习模型，通过结合局部卷积特征与非局部自注意力机制，提升人群密度估计性能。通过引入一种新型上下文多头注意力模块，CTN在UCF-QNRF数据集上将平均绝对误差降低20%，在UCF CC数据集上降低15%，达到当前最先进水平。

ABSTRACT

In this paper, we tackle the problem of Crowd Counting, and present a crowd density estimation based approach for obtaining the crowd count. Most of the existing crowd counting approaches rely on local features for estimating the crowd density map. In this work, we investigate the usefulness of combining local with non-local features for crowd counting. We use convolution layers for extracting local features, and a type of self-attention mechanism for extracting non-local features. We combine the local and the non-local features, and use it for estimating crowd density map. We conduct experiments on three publicly available Crowd Counting datasets, and achieve significant improvement over the previous approaches.

研究动机与目标

• 解决现有人群计数模型仅依赖卷积神经网络中局部感受野的局限性。
• 通过整合非局部、长距离上下文信息，避免使用全连接层，从而提升人群密度估计性能。
• 开发一种可端到端训练的架构，有效融合局部卷积特征与非局部注意力机制，以在密集人群图像中实现更好的泛化能力。
• 通过利用新型自注意力机制捕捉全局依赖关系，降低人群计数中的平均绝对误差（MAE）。

提出的方法

• 模型使用标准卷积层从输入人群图像中提取局部空间特征。
• 引入一种上下文多头注意力机制，以捕捉特征图中非局部、长距离的依赖关系。
• 将局部特征与非局部特征拼接后，通过共享的特征优化头生成最终的人群密度图预测结果。
• 采用像素级回归损失，在预测密度图与真实密度图之间进行端到端训练。
• 上下文多头注意力机制旨在通过关注局部感受场之外的相关空间上下文，提升特征表示能力。
• 模型使用UCF-QNRF数据集的预训练权重进行初始化，并在Shanghaitech和UCF CC等其他数据集上进行微调。

实验结果

研究问题

• RQ1 将局部卷积特征与非局部注意力机制结合，是否能提升在极端密集人群图像中的人群密度估计性能？
• RQ2 所提出的上下文多头注意力机制与标准自注意力机制相比，在建模人群计数中长距离依赖关系方面表现如何？
• RQ3 一种融合局部与非局部特征的端到端架构，是否在基准人群计数数据集上优于多阶段或人工设计特征的方法？
• RQ4 非局部特征的整合在多大程度上减少了误报并提升了密集人群区域的准确性？

主要发现

• 与先前最先进方法相比，CTN在UCF-QNRF数据集上将平均绝对误差（MAE）降低了20%。
• 在UCF CC数据集上，CTN相比先前方法将MAE降低了15%，表明在不同数据集上均具有一致的性能提升。
• 在UCF-QNRF和UCF CC数据集上，CTN在MAE指标上优于所有基线模型，仅在UCF CC的RMSE指标上略逊于CP-CNN。
• 在Shanghaitech Part-A数据集上，CTN实现了最佳MAE，优于此前最先进方法SANet。
• 定性分析表明，与仅使用局部感受野的基线相比，CTN在密集人群区域显著减少了误报。
• 在失败案例中，尽管在极端密集图像上性能有所下降，但CTN在大多数情况下仍优于仅使用局部感受野的基线模型。