[论文解读] Improving the Learning of Multi-column Convolutional Neural Network for Crowd Counting

Zhi-Qi Cheng, Jun-Xiu Li+4 more|arXiv (Cornell University)|Sep 17, 2019

Video Surveillance and Tracking Methods参考文献 65被引用 4

一句话总结

该论文提出了一种名为多列互学习（Multi-column Mutual Learning, McML）的新颖训练策略，可减少多列卷积神经网络中参数冗余并提升尺度不变性，适用于人群计数任务。通过最小化列之间的互信息并采用异步互学习机制，McML确保每列学习到独特的、与尺度相关的特征，显著提升了在四个基准数据集上的准确率，相对MAE改进最高达25.0%。

ABSTRACT

Tremendous variation in the scale of people/head size is a critical problem for crowd counting. To improve the scale invariance of feature representation, recent works extensively employ Convolutional Neural Networks with multi-column structures to handle different scales and resolutions. However, due to the substantial redundant parameters in columns, existing multi-column networks invariably exhibit almost the same scale features in different columns, which severely affects counting accuracy and leads to overfitting. In this paper, we attack this problem by proposing a novel Multi-column Mutual Learning (McML) strategy. It has two main innovations: 1) A statistical network is incorporated into the multi-column framework to estimate the mutual information between columns, which can approximately indicate the scale correlation between features from different columns. By minimizing the mutual information, each column is guided to learn features with different image scales. 2) We devise a mutual learning scheme that can alternately optimize each column while keeping the other columns fixed on each mini-batch training data. With such asynchronous parameter update process, each column is inclined to learn different feature representation from others, which can efficiently reduce the parameter redundancy and improve generalization ability. More remarkably, McML can be applied to all existing multi-column networks and is end-to-end trainable. Extensive experiments on four challenging benchmarks show that McML can significantly improve the original multi-column networks and outperform the other state-of-the-art approaches.

研究动机与目标

• 解决人群计数中因透视效应导致的人群尺寸剧烈变化这一关键问题。
• 识别出现有多列网络存在参数冗余，且各列学习到的尺度特征几乎相同。
• 通过引导每列学习独特且互补的尺度表征，克服过拟合与泛化能力差的问题。
• 开发一种即插即用、端到端可训练的策略，适用于任意现有多列人群计数网络。
• 在无需架构修改或额外监督的前提下，提升特征多样性与泛化能力。

提出的方法

• 引入一个统计网络，用于估计不同列特征图之间的互信息，作为尺度相关性的代理指标。
• 在训练过程中最小化列之间的互信息，以促进学习到差异化的、与尺度相关的特征。
• 设计一种异步互学习机制，即在每次优化时仅固定其他列，轮流优化每一列，以促进特征多样性。
• 以即插即用的方式将McML策略应用于现有多列网络（如MCNN、CSRNet、ic-CNN），实现端到端训练。
• 使用最大信息系数（MIC）和结构相似性（SSIM）定量分析列间特征的冗余性与相似性。
• 借助密度图可视化与定量指标（MAE、MSE）评估McML在多样化人群场景下的有效性。

实验结果

研究问题

• RQ1 为何现有多列网络尽管具有不同的感受野，仍无法学习到多样化的尺度特征？
• RQ2 互信息最小化是否能有效降低冗余性，并提升列间特征的多样性？
• RQ3 异步互学习是否能增强多列人群计数网络的泛化能力并减少过拟合？
• RQ4 McML是否可普遍应用于多种多列架构而无需修改网络结构？
• RQ5 McML在人群密度与尺度分布各不相同的数据集上表现如何？

主要发现

• McML显著降低了列之间的互信息（MIC）与结构相似性（SSIM），证实了冗余减少与特征多样性提升。
• 在ShanghaiTech Part A数据集上，McML使MCNN的MAE降低25.0%，CSRNet降低23.6%，ic-CNN降低5.6%，在密集人群场景中表现强劲。
• 在UCF_CC_50数据集上，McML使MCNN的相对MAE提升17.6%，CSRNet提升7.5%，在小样本与稀疏数据场景中表现有效。
• 在UCSD数据集上，McML同时降低了MAE与MSE，表明在稀疏人群场景中具备更高的准确率与鲁棒性。
• 在WorldExpo’10数据集上，McML在未使用透视图监督的情况下，仍优于使用此类监督的SOTA方法，证明其强大的泛化能力。
• 可视化结果表明，McML生成的密度图在不同列中展现出更明显的显著区域，证实其更优的尺度特异性特征学习能力。