[论文解读] Feature-aware Adaptation and Structured Density Alignment for Crowd Counting in Video Surveillance

Junyu Gao, Qi Wang+1 more|arXiv (Cornell University)|Dec 8, 2019

Video Surveillance and Tracking Methods参考文献 28被引用 9

一句话总结

本文提出了一种用于人群计数的域自适应方法，可减少合成数据与真实监控视频之间的域差距。通过结合多级特征感知自适应（MFA）与结构化密度图对齐（SDA），模型能够学习域不变特征并生成逼真的密度图，在四个真实世界数据集上实现了最先进性能。

ABSTRACT

With the development of deep neural networks, the performance of crowd counting and pixel-wise density estimation are continually being refreshed. Despite this, there are still two challenging problems in this field: 1) current supervised learning needs a large amount of training data, but collecting and annotating them is difficult; 2) existing methods can not generalize well to the unseen domain. A recently released synthetic crowd dataset alleviates these two problems. However, the domain gap between the real-world data and synthetic images decreases the models' performance. To reduce the gap, in this paper, we propose a domain-adaptation-style crowd counting method, which can effectively adapt the model from synthetic data to the specific real-world scenes. It consists of Multi-level Feature-aware Adaptation (MFA) and Structured Density map Alignment (SDA). To be specific, MFA boosts the model to extract domain-invariant features from multiple layers. SDA guarantees the network outputs fine density maps with a reasonable distribution on the real domain. Finally, we evaluate the proposed method on four mainstream surveillance crowd datasets, Shanghai Tech Part B, WorldExpo'10, Mall and UCSD. Extensive experiments evidence that our approach outperforms the state-of-the-art methods for the same cross-domain counting problem.

研究动机与目标

• 通过利用最近发布的合成人群数据集，解决人群计数中真实世界标注数据有限的挑战。
• 减少合成训练数据与真实世界监控场景之间的域差距，以提升模型泛化能力。
• 实现基于合成数据训练的人群计数模型在未见真实世界域上的有效适应。
• 通过结构化对齐提升真实场景下预测密度图的质量与真实感。

提出的方法

• 提出多级特征感知自适应（MFA），在多个网络层对齐域间特征，以提取域不变表示。
• 提出结构化密度图对齐（SDA），强制模型在真实世界数据上生成具有逼真空间分布的密度图。
• 在统一框架中结合MFA与SDA，联合优化特征对齐与密度图真实感。
• 采用域自适应风格的训练策略，在适应过程中无需真实世界标注即可最小化域偏移。
• 应用对抗性训练与分布匹配技术，增强域间特征与密度图的一致性。
• 使用合成数据进行端到端训练，并在真实世界数据上进行微调，无需额外标注。

实验结果

研究问题

• RQ1 域自适应框架能否有效减少合成数据与真实世界人群计数数据之间的域差距？
• RQ2 多级特征对齐与结构化密度图对齐如何协同提升模型对未见真实域的泛化能力？
• RQ3 在真实监控数据集上，所提方法相较于现有跨域人群计数方法的性能提升程度如何？
• RQ4 MFA与SDA的融合是否能显著提升真实场景下密度图的真实感与准确性？

主要发现

• 所提方法在四个主流监控人群计数数据集（Shanghai Tech Part B、WorldExpo'10、Mall 和 UCSD）上实现了最先进性能。
• 模型显著减小了合成数据与真实世界数据之间的域差距，实现了无需额外真实世界标注的泛化性能提升。
• 多级特征感知自适应（MFA）有效捕捉了多层网络中的域不变特征，增强了特征鲁棒性。
• 结构化密度图对齐（SDA）确保了在真实数据上预测的密度图具有逼真的空间分布，从而提升了计数准确性。
• 大量实验表明，在相同评估设置下，MFA与SDA的结合优于现有跨域人群计数方法。
• 该方法在未见真实世界场景中泛化良好，展现出从合成数据到真实监控环境的强大迁移能力。