[论文解读] Domain-adaptive Crowd Counting via Inter-domain Features Segregation and Gaussian-prior Reconstruction

Junyu Gao, Tao Han+2 more|arXiv (Cornell University)|Dec 8, 2019

Video Surveillance and Tracking Methods参考文献 37被引用 33

一句话总结

该论文提出领域自适应人群计数（DACC）框架，通过域间特征分割（IFS）减少合成数据与真实世界人群数据之间的域差距，并通过高斯先验重建（GPR）提升密度图质量。通过将合成图像转换为更真实的分布并从粗预测生成伪标签，DACC 在六个真实世界数据集上实现了最先进性能，且无需人工标注。

ABSTRACT

Recently, crowd counting using supervised learning achieves a remarkable improvement. Nevertheless, most counters rely on a large amount of manually labeled data. With the release of synthetic crowd data, a potential alternative is transferring knowledge from them to real data without any manual label. However, there is no method to effectively suppress domain gaps and output elaborate density maps during the transferring. To remedy the above problems, this paper proposed a Domain-Adaptive Crowd Counting (DACC) framework, which consists of Inter-domain Features Segregation (IFS) and Gaussian-prior Reconstruction (GPR). To be specific, IFS translates synthetic data to realistic images, which contains domain-shared features extraction and domain-independent features decoration. Then a coarse counter is trained on translated data and applied to the real world. Moreover, according to the coarse predictions, GPR generates pseudo labels to improve the prediction quality of the real data. Next, we retrain a final counter using these pseudo labels. Adaptation experiments on six real-world datasets demonstrate that the proposed method outperforms the state-of-the-art methods. Furthermore, the code and pre-trained models will be released as soon as possible.

研究动机与目标

• 解决人群计数中合成数据与真实世界人群数据之间的域差距问题。
• 实现在无需人工标注的情况下，从合成数据到真实数据的有效知识迁移。
• 通过伪标签方法提升真实世界场景下密度图的质量。
• 开发一种可泛化至多样化真实世界数据集的领域自适应框架。

提出的方法

• 域间特征分割（IFS）通过提取域共享特征并附加域无关组件，将合成图像转换为更真实的分布。
• 在转换后的合成数据上训练粗略计数器，以生成用于真实世界适应的初始密度图。
• 高斯先验重建（GPR）利用高斯先验从粗预测生成高质量伪标签，以优化真实世界的密度图。
• 使用生成的伪标签重新训练最终计数器，以提升在真实数据上的性能。
• 在六个真实世界数据集上评估该框架，以验证领域自适应的有效性。

实验结果

研究问题

• RQ1 在知识迁移过程中，如何有效抑制合成数据与真实人群数据之间的域差距？
• RQ2 基于粗预测的伪标签方法是否能提升真实世界人群计数中的密度图质量？
• RQ3 所提出的 DACC 框架在多样化真实世界人群计数数据集上的泛化能力如何？
• RQ4 IFS 与 GPR 的集成如何提升人群密度估计的准确性？

主要发现

• 所提出的 DACC 框架在六个真实世界人群计数数据集上优于最先进方法。
• 域间特征分割（IFS）通过将合成数据向真实分布转换，成功减少了域偏移。
• 高斯先验重建（GPR）通过从粗输出生成准确伪标签，有效提升了预测质量。
• 该方法实现了无需任何人工标注即可在真实世界数据上实现高精度人群计数。