[论文解读] Mixture of Counting CNNs: Adaptive Integration of CNNs Specialized to Specific Appearance for Crowd Counting

Shohei Kumagai, Kazuhiro Hotta+1 more|arXiv (Cornell University)|Mar 28, 2017

Video Surveillance and Tracking Methods参考文献 17被引用 61

一句话总结

本文提出 MoC-CNN，一种专家CNN混合体，配备门控网络，能够自适应加权专业专家以应对人群计数中的外观与尺度变化。

ABSTRACT

This paper proposes a crowd counting method. Crowd counting is difficult because of large appearance changes of a target which caused by density and scale changes. Conventional crowd counting methods generally utilize one predictor (e,g., regression and multi-class classifier). However, such only one predictor can not count targets with large appearance changes well. In this paper, we propose to predict the number of targets using multiple CNNs specialized to a specific appearance, and those CNNs are adaptively selected according to the appearance of a test image. By integrating the selected CNNs, the proposed method has the robustness to large appearance changes. In experiments, we confirm that the proposed method can count crowd with lower counting error than a CNN and integration of CNNs with fixed weights. Moreover, we confirm that each predictor automatically specialized to a specific appearance.

研究动机与目标

• 解决因密度与尺度导致的人群计数中出现的大幅外观变化。
• 开发一种鲁棒方法，使用多种针对不同外观而设计的CNN预测器。
• 实现专家CNN的自适应选择与整合，以提升计数准确度，相较单一预测器。
• 提供端到端训练，使专家在没有人工角色分配的情况下自动专业化。
• 在具有挑战性的人群计数数据集上证明其竞争力。

提出的方法

• 定义 K 个专家 CNN，每个都对图像块预测一个计数。
• 引入一个门控 CNN，通过 softmax 输出权重 g_k 来混合专家输出。
• 将 y 视为加权和 y = sum_k g_k e_k 的专家计数。
• 用 L_expert 损失训练专家，以最小化 (t_n - sum_k g_nk e_nk)^2。
• 用包含方差正则化项的 L_gate 损失训练门控 CNN，以防止收敛到单一专家。
• 使用端到端的 Adam 优化，对于专家与门控网络设置不同的学习率。

实验结果

研究问题

• RQ1 一个专门化的 CNN 混合是否在外观多变的情况下优于单一预测器用于人群计数？
• RQ2 自适应门控是否促进专家专业化并在密度与尺度之间提升计数准确度？
• RQ3 在具有挑战性的数据集上，MoC-CNN 相较于固定权重集成和单一 CNN 基线的表现？

主要发现

• MoC-CNN 在 UCF_CC_50 上的 MAE 与 MSD 均低于单一 CNN 与固定权重集成。
• 在 UCF_CC_50 上，MoC-CNN 实现 MAE 361.7、MSD 493.3，优于 Ordinary CNN（545.6、697.5）与 Fc-layer Gating（509.6、670.0）。
• MoC-CNN 在 UCF_CC_50 上取得与最新方法的竞争性结果。
• 门控 CNN 的输出表明专业化：不同的门控对稀疏、中等和密集人群有不同的响应，验证了自适应专家选择的有效性。
• 该方法通过整合专业化的专家而非依赖单一预测器，展示出对外观变化的鲁棒性。