[论文解读] Cross-Modal Collaborative Representation Learning and a Large-Scale RGBT Benchmark for Crowd Counting

Lingbo Liu, Jiaqi Chen+4 more|arXiv (Cornell University)|Dec 8, 2020

Video Surveillance and Tracking Methods参考文献 60被引用 8

一句话总结

本文提出了一种跨模态协同表示学习框架，配备信息聚合-分布模块（IADM），通过融合可见光与热成像提升RGBT人群计数性能。该方法在新提出的大型RGBT-CC基准（2,030对图像，138,389个标注）和ShanghaiTechRGBD数据集上均取得了最先进性能，展现出在多模态设置下卓越的准确率与通用性。

ABSTRACT

Crowd counting is a fundamental yet challenging task, which desires rich information to generate pixel-wise crowd density maps. However, most previous methods only used the limited information of RGB images and cannot well discover potential pedestrians in unconstrained scenarios. In this work, we find that incorporating optical and thermal information can greatly help to recognize pedestrians. To promote future researches in this field, we introduce a large-scale RGBT Crowd Counting (RGBT-CC) benchmark, which contains 2,030 pairs of RGB-thermal images with 138,389 annotated people. Furthermore, to facilitate the multimodal crowd counting, we propose a cross-modal collaborative representation learning framework, which consists of multiple modality-specific branches, a modality-shared branch, and an Information Aggregation-Distribution Module (IADM) to capture the complementary information of different modalities fully. Specifically, our IADM incorporates two collaborative information transfers to dynamically enhance the modality-shared and modality-specific representations with a dual information propagation mechanism. Extensive experiments conducted on the RGBT-CC benchmark demonstrate the effectiveness of our framework for RGBT crowd counting. Moreover, the proposed approach is universal for multimodal crowd counting and is also capable to achieve superior performance on the ShanghaiTechRGBD dataset. Finally, our source code and benchmark are released at {\url{http://lingboliu.com/RGBT_Crowd_Counting.html}}.

研究动机与目标

• 为解决在非约束性、低光照环境下仅依靠RGB图像难以检测行人的挑战。
• 探索可见光（RGB）与热成像在鲁棒人群密度估计中的互补优势。
• 开发一种通用、即插即用的框架，有效捕捉多模态人群计数中的跨模态表示。
• 建立首个大规模、多样化且具有挑战性的RGBT人群计数基准，以支持未来研究。

提出的方法

• 该框架采用多个模态专用分支、一个模态共享分支以及信息聚合-分布模块（IADM），以学习分层的跨模态表示。
• IADM采用双信息传播机制：信息聚合传输（Information Aggregation Transfer）利用所有模态专用特征的上下文信息增强模态共享特征。
• IADM还包含信息分布传输（Information Distribution Transfer），通过增强的模态共享表示来优化每个模态专用特征。
• IADM被集成于多个网络层，以实现模态专用特征与共享特征的分层融合与相互增强。
• 该框架设计为即插即用模块，可与多种主干网络（如CSRNet、MCNN、SANet）集成，支持端到端训练。
• IADM中使用具有三级的金字塔池化层，以提取多感受野上下文特征。

实验结果

研究问题

• RQ1 RGB与热成像的融合是否能在具有挑战性的现实场景中显著提升人群计数性能？
• RQ2 在深度学习框架中，如何有效捕捉并利用可见光与热成像模态之间的互补信息？
• RQ3 基于跨模态协同表示学习的统一框架是否能泛化至不同多模态设置（如RGBT与RGBD）？
• RQ4 用于实现模态间动态双向信息流的模块化组件（IADM）的最佳设计是什么？
• RQ5 在大规模真实世界基准上，所提方法在准确率与鲁棒性方面相较于最先进模型表现如何？

主要发现

• 所提出的CSRNet+IADM模型在ShanghaiTechRGBD基准上取得新的最先进性能，GAME(0)为4.38，RMSE为7.05。
• 所有提出的框架实例（如MCNN+IADM、SANet+IADM）在RGBT-CC基准上均优于其对应的主干网络及所有对比的最先进模型。
• 当应用于MCNN与SANet主干网络时，IADM模块相较基线的‘早期融合’模型在RMSE上实现了18.9%的相对提升。
• 消融实验表明，IADM的双信息传播机制至关重要，使用三级金字塔池化层时性能最佳。
• 该框架具有普遍有效性：不仅在RGBT数据上表现优异，也在RGBD数据上取得优越结果，证明了其泛化能力。
• 随代码一同发布的大型RGBT-CC基准包含2,030对图像与138,389个标注行人，以支持未来研究。