[论文解读] Enhanced 3D Convolutional Networks for Crowd Counting

Zhikang Zou, Huiliang Shao+3 more|arXiv (Cornell University)|Aug 12, 2019

Video Surveillance and Tracking Methods参考文献 36被引用 13

一句话总结

该论文提出了一种新型架构——增强型3D卷积网络（E3D），通过结合3D卷积与时间通道感知（TCA）模块，联合建模视频数据中的时空特征与全局上下文信息，实现基于视频的群体计数。通过将局部3D卷积与全局上下文感知的通道重校准相结合，E3D在三个基准数据集上达到最先进性能，并在TRANCOS数据集上有效泛化至车辆计数任务。

ABSTRACT

Recently, convolutional neural networks (CNNs) are the leading defacto method for crowd counting. However, when dealing with video datasets, CNN-based methods still process each video frame independently, thus ignoring the powerful temporal information between consecutive frames. In this work, we propose a novel architecture termed as "temporal channel-aware" (TCA) block, which achieves the capability of exploiting the temporal interdependencies among video sequences. Specifically, we incorporate 3D convolution kernels to encode local spatio-temporal features. Furthermore, the global contextual information is encoded into modulation weights which adaptively recalibrate channel-aware feature responses. With the local and global context combined, the proposed block enhances the discriminative ability of the feature representations and contributes to more precise results in diverse scenes. By stacking TCA blocks together, we obtain the deep trainable architecture called enhanced 3D convolutional networks (E3D). The experiments on three benchmark datasets show that the proposed method delivers state-of-the-art performance. To verify the generality, an extended experiment is conducted on a vehicle dataset TRANCOS and our approach beats previous methods by large margins.

研究动机与目标

• 解决现有基于CNN的群体计数方法将视频帧独立处理、忽略宝贵时间依赖性的局限性。
• 通过联合建模视频序列中的局部时空特征与全局上下文信息，提升特征表示能力。
• 构建一种深层可训练架构，有效捕捉随时间变化的动态群体模式，同时保持计算效率。
• 证明所提方法在群体计数之外的泛化能力，例如在车辆计数等任务中的适用性。

提出的方法

• 提出一种新颖的时间通道感知（TCA）模块，结合3D卷积核，从视频片段中提取局部时空特征。
• 将全局上下文信息融入调制权重中，自适应地重校准通道维度的特征响应，增强模型判别能力。
• 在TCA模块内部引入短跳跃连接，以稳定训练过程，并支持将多个模块堆叠为深层网络。
• 通过堆叠多个TCA模块构建增强型3D卷积网络（E3D），实现时空表征的端到端学习。
• 通过将3D卷积替换为2D卷积，设计一种退化变体（E2D），以评估时间建模的必要性。
• 通过消融实验优化超参数，包括帧长度、TCA模块数量及组件配置。

实验结果

研究问题

• RQ1 3D卷积网络能否有效利用视频序列中的时间依赖性，从而提升群体计数性能？
• RQ2 将全局上下文信息与局部时空特征结合，对群体计数模型的准确性有何影响？
• RQ3 在视频群体计数任务中，达到最佳性能所需的最优帧数与TCA模块数量是多少？
• RQ4 所提方法是否能泛化至群体计数之外的其他计数任务，例如车辆计数？

主要发现

• E3D在三个基准群体计数数据集（WorldExpo’10、UCSD、MALL）上均达到最先进性能，平均绝对误差（MAE）分别为2.8、12.5和12.9。
• 消融实验表明，若移除全局上下文分支，UCSD数据集上的MAE将从0.93上升至1.00，证明了全局上下文融合的有效性。
• 当输入帧数从8增加到16时，性能显著提升（MAE从1.27降至0.93），表明充足的时序上下文至关重要。
• TCA模块的最优数量为8个，在UCSD数据集上实现最低MAE（0.93）；模块数量过少或过多均导致性能下降。
• 在TRANCOS车辆计数数据集上，E3D取得0.93的MAE，显著优于先前方法，证实其强大泛化能力。
• 退化变体E2D（使用2D卷积）在UCSD上仍表现良好（MAE = 1.00），表明仅依赖空间建模已具有效性，但当存在时间信息时，3D卷积可显著提升性能。