[论文解读] Ambient Sound Helps: Audiovisual Crowd Counting in Extreme Conditions

Di Hu, Lichao Mou+5 more|ArXiv.org|May 14, 2020

Video Surveillance and Tracking Methods参考文献 51被引用 30

一句话总结

本文提出视听人群计数与大型 DISCO 基准数据集，显示环境声音在低照度、噪声、遮挡和低分辨率条件下可提升人群计数。

ABSTRACT

Visual crowd counting has been recently studied as a way to enable people counting in crowd scenes from images. Albeit successful, vision-based crowd counting approaches could fail to capture informative features in extreme conditions, e.g., imaging at night and occlusion. In this work, we introduce a novel task of audiovisual crowd counting, in which visual and auditory information are integrated for counting purposes. We collect a large-scale benchmark, named auDiovISual Crowd cOunting (DISCO) dataset, consisting of 1,935 images and the corresponding audio clips, and 170,270 annotated instances. In order to fuse the two modalities, we make use of a linear feature-wise fusion module that carries out an affine transformation on visual and auditory features. Finally, we conduct extensive experiments using the proposed dataset and approach. Experimental results show that introducing auditory information can benefit crowd counting under different illumination, noise, and occlusion conditions. The dataset and code will be released. Code and data have been made available

研究动机与目标

• 激发受人类多感知感知启发的新型视听人群计数任务。
• 创建一个大规模的 DISCO 数据集，包含 1,935 个图像-音频片段和 170,270 个标注头部实例。
• 开发一种带有特征级融合的视听计数模型，以利用环境声音进行计数。
• 评估在照明、噪声、遮挡和分辨率条件下，音频提示如何影响计数。

提出的方法

• 使用 VGG16 的前十层作为视觉特征提取器。
• 将音频表示为对数梅尔频谱（Log Mel-Spectrograms）并使用六层卷积神经网络（基于 VGGish 派生）。
• 通过线性、逐特征融合块融合音频和视觉特征，得到用于仿射变换的 gamma 和 beta 参数，这些参数通过对音频进行平均池化和全连接层得到。
• 堆叠多个融合块（6 个块），使用扩张卷积以增大感受野并产生全分辨率密度图。
• 以预测密度图与真实密度图之间的 L2 损失进行训练。
• 用 MAE 和 MSE，将 AudioCSRNet 与仅视觉的基线模型（MCNN、CSRNet、SANet、CANNet）进行比较。

实验结果

研究问题

• RQ1 在极端条件下，结合视觉和听觉特征是否相较于仅视觉模型提升人群计数？
• RQ2 在不同照明、噪声和遮挡条件下，视听计数结果如何变化？
• RQ3 在人群计数中，何种高效且计算代价低的视听线索融合机制是有效的？

主要发现

• 在低质量图像（低照明、噪声、遮挡、低分辨率）上，含音频的模型始终优于仅视觉的基线。
• AudioCSRNet 在具有挑战性的条件下相比 CSRNet 获得更低的 MAE 和 MSE，并且在高质量图像上仍具备竞争力。
• 音频信息使得在视觉信息缺失或严重降级时仍可进行计数（例如照明实验中的 R=0）。
• 联合视听模型在不同照明和遮挡水平下表现出鲁棒性，随着视觉质量恶化，性能差距越显著。
• 使用基于 CNN 的音频表示（基于谱图）比 MFCC+LSTM 获得更好结果；AudioCANNet 在低质量场景下也使 CANNet 受益。