[论文解读] Divide and Grow: Capturing Huge Diversity in Crowd Images with Incrementally Growing CNN

Deepak Babu Sam, Neeraj N Sajjan+1 more|ePrints-IISc. (Indian Institute of Science Bangalore)|Jul 26, 2018

Video Surveillance and Tracking Methods参考文献 16被引用 9

一句话总结

本文提出增量生长卷积神经网络（IG-CNN），一种分层深度学习框架，通过差分训练递归地将基础CNN分裂为越来越精细的回归器，自动学习专门的群体计数专家。该方法通过挖掘潜在专长（如人群密度）而无需手工设定标准，在主要群体计数基准上实现了最先进精度，优于基线方法和MoE模型。

ABSTRACT

Automated counting of people in crowd images is a challenging task. The major difficulty stems from the large diversity in the way people appear in crowds. In fact, features available for crowd discrimination largely depend on the crowd density to the extent that people are only seen as blobs in a highly dense scene. We tackle this problem with a growing CNN which can progressively increase its capacity to account for the wide variability seen in crowd scenes. Our model starts from a base CNN density regressor, which is trained in equivalence on all types of crowd images. In order to adapt with the huge diversity, we create two child regressors which are exact copies of the base CNN. A differential training procedure divides the dataset into two clusters and fine-tunes the child networks on their respective specialties. Consequently, without any hand-crafted criteria for forming specialties, the child regressors become experts on certain types of crowds. The child networks are again split recursively, creating two experts at every division. This hierarchical training leads to a CNN tree, where the child regressors are more fine experts than any of their parents. The leaf nodes are taken as the final experts and a classifier network is then trained to predict the correct specialty for a given test image patch. The proposed model achieves higher count accuracy on major crowd datasets. Further, we analyse the characteristics of specialties mined automatically by our method.

研究动机与目标

• 解决不同密度和条件下人群外观高度可变的挑战。
• 开发一种基于数据驱动的系统性方法，创建专门的群体计数模型，而无需依赖手工设定的标准。
• 通过基于数据集复杂度的增量模型容量扩展，提升群体计数中的回归精度。
• 分析所学习专家层级中自动挖掘专长的特性。

提出的方法

• 从在完整数据集上训练的基础CNN密度回归器开始，以学习一般的人群特征。
• 将基础CNN复制为两个子网络，然后应用差分训练，联合聚类数据集并微调每个子网络以适应特定子类型。
• 递归地将每个子网络分裂为两个新专家，形成一个分层CNN树，其中每一层都提升专业化程度。
• 在测试时训练一个独立分类器，根据学习到的专长将输入图像块路由到最合适的专家回归器。
• 在差分训练期间采用联合聚类与微调过程，确保专家学习到不同且具有判别性的特征。
• 采用多级专家架构，叶节点代表最专业的回归器，路由由学习到的分类器引导。

实验结果

研究问题

• RQ1 深度学习模型能否在不依赖手动定义标准（如密度阈值）的情况下自动学习专门的群体计数专家？
• RQ2 与单模型或平面专家混合模型方法相比，CNN的分层、增量式增长在多样化人群场景中如何提升性能？
• RQ3 自动挖掘的专长与哪些潜在因素（如人群密度、遮挡模式）相关？
• RQ4 分层训练过程是否相比标准差分训练或MoE模型，带来更好的特征判别性和更低的回归误差？

主要发现

• IG-CNN在Shanghaitech Part A数据集上实现了72.5的平均绝对误差（MAE），优于基线CNN和专家混合模型。
• 随着分层深度增加，Oracle损失降低（例如第3层为8.5），表明专业化程度提高，尽管由于分类器误差，实际测试MAE略有上升。
• 该方法成功挖掘出与人群密度相关的专长，如各专家子组的图像块数量分布所示——例如R111专门处理高密度人群，平均人数为33.7。
• IG-CNN显著优于专家混合基线模型（MAE 281.8 vs. 72.5）和8路差分训练（MAE 75.1 vs. 72.5），证明其具备更优的专长学习能力。
• 分层训练过程相比平面差分训练或MoE模型，能生成更具判别性的特征，表现为更低的最终MAE和更优的人群类型聚类效果。
• 分析证实，IG-CNN学习到的专长并非随意的，而是反映可观察的人群特征（如密度），专家专注于不同的计数范围。