[论文解读] C^3 Framework: An Open-source PyTorch Code for Crowd Counting

Junyu Gao, Wei Lin+4 more|arXiv (Cornell University)|Jul 5, 2019

Anomaly Detection Techniques and Applications参考文献 9被引用 35

一句话总结

一个开源的 PyTorch 代码框架（C3F），用于人群计数，提供稳健的基线、对主要数据集的数据预处理策略、主流方法的复现，以及一个强大的实验记录系统。

ABSTRACT

This technical report attempts to provide efficient and solid kits addressed on the field of crowd counting, which is denoted as Crowd Counting Code Framework (C$^3$F). The contributions of C$^3$F are in three folds: 1) Some solid baseline networks are presented, which have achieved the state-of-the-arts. 2) Some flexible parameter setting strategies are provided to further promote the performance. 3) A powerful log system is developed to record the experiment process, which can enhance the reproducibility of each experiment. Our code is made publicly available at \url{https://github.com/gjy3035/C-3-Framework}. Furthermore, we also post a Chinese blog\footnote{\url{https://zhuanlan.zhihu.com/p/65650998}} to describe the details and insights of crowd counting.

研究动机与目标

• 提供一个统一高效的人群计数研究与基准测试的代码接口。
• 提供源自 AlexNet、VGG 与 ResNet 的稳健基线模型用于密度图估计。
• 提供面向数据集的预处理指南，以实现公平比较。
• 通过全面的日志系统和开源工具实现可重复性。
• 展示主流方法的复现以促进公平基准。

提出的方法

• 从 AlexNet、VGG、ResNet 改编的用于密度图回归的稳健基线网络。
• 采用编码器-解码器结构并结合定制上采样，生成 1 通道密度图。
• 提出六个数据集（UCF_CC_50, WorldExpo’10, SHTA, SHTB, UCF-QNRF, GCC）上的预处理策略，包括图像尺度和输入尺寸可被 16 整除。
• 讨论标签变换选项包括下采样与归一化；建议避免对密度图进行大规模下采样以免影响 PSNR/SSIM。
• 在 C3F 框架内提供 MCNN、CMTL、CSRNet、SANet 的复现实验，并给出实际训练技巧以提升性能。
• 提供一个 GitHub 的开源代码库，供社区使用与贡献。

实验结果

研究问题

• RQ1 可否通过可重复、统一的预处理与代码接口，在人群计数方法之间实现公平基准测试？
• RQ2 标准骨干网络（AlexNet、VGG、ResNet）在统一的 C3F 框架中作为密度图回归器的表现如何？
• RQ3 数据集特定输入缩放与变换策略对在常见基准上的计数精度（MAE/MSE）有何影响？
• RQ4 复现技巧在多大程度上能够使复现结果与领先人群计数方法的公开表现对齐？
• RQ5 集中式日志系统是否提升人群计数研究的实验可重复性与可追溯性？

主要发现

• 基于 ResNet 的模型在测试配置下以 MAE 7.6–7.7 和 MSE 12.2–12.6 实现了强劲性能。
• 基于 VGG 的配置在 MAE 约 10.3–10.5，MSE 约 16.0–17.4，VGG+decoder 能提供更清晰的密度图。
• CSRNet 的复现结果与公开数据高度接近（原始 MAE 10.6、MSE 16.0 与复现 10.6、16.6）。
• MCNN、CMTL、SANet 的复现与一些公开数据仍存在差距，但 SANet 的复现实测最接近原始结果（例如原始 SANet 8.4/13.6 vs 复现 12.1/19.2）。
• 框架提供了实用的数据预处理策略（图像尺度、输入尺寸可被 16 整除），便于公平的跨方法比较。
• C3F 包含一个健壮的日志系统，以提高跨实验的可重复性。