[论文解读] Feature-aware Adaptation and Density Alignment for Crowd Counting in Video Surveillance

Junyu Gao, Yuan Yuan+1 more|arXiv (Cornell University)|Dec 8, 2019

Video Surveillance and Tracking Methods参考文献 73被引用 8

一句话总结

本文提出了一种用于人群计数的域自适应框架，利用合成数据提升在真实监控场景中的泛化能力。通过结合多层级特征感知自适应（MFA）以对齐跨域特征，以及结构化密度图对齐（SDA）以优化输出密度图，该方法在多个真实世界数据集上实现了最先进性能，显著降低了与先前无监督自适应方法相比的误差率。

ABSTRACT

With the development of deep neural networks, the performance of crowd counting and pixel-wise density estimation are continually being refreshed. Despite this, there are still two challenging problems in this field: 1) current supervised learning needs a large amount of training data, but collecting and annotating them is difficult; 2) existing methods can not generalize well to the unseen domain. A recently released synthetic crowd dataset alleviates these two problems. However, the domain gap between the real-world data and synthetic images decreases the models' performance. To reduce the gap, in this paper, we propose a domain-adaptation-style crowd counting method, which can effectively adapt the model from synthetic data to the specific real-world scenes. It consists of Multi-level Featureaware Adaptation (MFA) and Structured Density map Alignment (SDA). To be specific, MFA boosts the model to extract domain-invariant features from multiple layers. SDA guarantees the network outputs fine density maps with a reasonable distribution on the real domain. Finally, we evaluate the proposed method on four mainstream surveillance crowd datasets, Shanghai Tech Part B, WorldExpo'10, Mall and UCSD. Extensive experiments evidence that our approach outperforms the state-of-the-art methods for the same cross-domain counting problem.

研究动机与目标

• 解决监控应用中真实世界标注人群数据有限的挑战。
• 减少合成数据与真实世界人群场景之间的域差距，以提升泛化能力。
• 开发一种域自适应方法，无需额外真实世界标注即可提升人群计数性能。
• 通过特征级与输出级自适应，在未见的真实域上生成高质量、结构化的密度图。

提出的方法

• 提出多层级特征感知自适应（MFA），在CNN的多个层级使用逐元素判别器，以提取域不变特征。
• 在结构化密度图对齐（SDA）中引入图判别器，以区分真实与合成的密度图，促进输出层面的域对齐。
• 引入自监督金字塔残差（SPR）模块，以在目标域上保持密度预测的多尺度一致性。
• 使用具有大卷积核大小（如[13,9,5,9,13]）的图重构器，以优化粗糙密度图并减少噪声与结构伪影。
• 在特征空间与输出空间联合使用对抗性训练，以同时最小化域偏移并保留空间细节。
• 采用预训练的SFCN主干网络并集成域自适应模块，实现从合成GCC数据集到真实世界数据集的有效迁移。

实验结果

研究问题

• RQ1 多层级特征自适应是否能有效减少合成与真实人群图像在人群计数中的域偏移？
• RQ2 在无真实标注的情况下，如何提升未见真实世界场景中的密度图质量？
• RQ3 在多尺度上对密度图进行结构化对齐是否能增强泛化能力并降低预测误差？
• RQ4 图重构器中大感受野卷积是否能显著提升预测密度图的保真度？

主要发现

• 在上海技术Part B数据集上，所提方法的MAE为144.6，MSE为200.6，优于基线方法NoAdapt（MAE 156.4，MSE 210.7）与SE Cycle GAN（MAE 123.4，MSE 193.4）。
• 在UCF-QNRF数据集上，MAE从NoAdapt的275.5降低至255.4，表明其在多样化真实场景中具有强大的泛化能力。
• 采用核大小为[13,9,5,9,13]的图重构器在PSNR（25.62）与SSIM（0.856）上均达到最优，证实大感受野在降噪与重建中的优势。
• 在MCNN与CSRNet中引入SPR模块后，MAE分别降低6.4%与4.7%，表明在监督设置下具有更强的鲁棒性。
• 可视化结果表明，该方法能有效捕捉人群密度趋势与空间分布，但在远距离或低纹理背景区域仍存在误差。
• 由于更好地保留了结构与局部特征，该方法在真实监控域中优于基于GAN的图像翻译方法（如SE Cycle GAN）。