[论文解读] Crowd Counting by Adapting Convolutional Neural Networks with Side Information

Di Kang, Debarun Dhar+1 more|arXiv (Cornell University)|Nov 21, 2016

Video Surveillance and Tracking Methods参考文献 19被引用 19

一句话总结

本文提出自适应卷积神经网络（ACNN），利用相机角度、高度等辅助信息动态调整卷积核权重，实现上下文感知的特征学习。通过将卷积核权重建模为由辅助信息参数化的流形，ACNN在标准CNN基础上提升了人群计数的准确性，并且无需微调即可泛化到未见过的场景上下文。

ABSTRACT

Computer vision tasks often have side information available that is helpful to solve the task. For example, for crowd counting, the camera perspective (e.g., camera angle and height) gives a clue about the appearance and scale of people in the scene. While side information has been shown to be useful for counting systems using traditional hand-crafted features, it has not been fully utilized in counting systems based on deep learning. In order to incorporate the available side information, we propose an adaptive convolutional neural network (ACNN), where the convolutional filter weights adapt to the current scene context via the side information. In particular, we model the filter weights as a low-dimensional manifold, parametrized by the side information, within the high-dimensional space of filter weights. With the help of side information and adaptive weights, the ACNN can disentangle the variations related to the side information, and extract discriminative features related to the current context. Since existing crowd counting datasets do not contain ground-truth side information, we collect a new dataset with the ground-truth camera angle and height as the side information. On experiments in crowd counting, the ACNN improves counting accuracy compared to a plain CNN with a similar number of parameters. We also apply ACNN to image deconvolution to show its potential effectiveness on other computer vision applications.

研究动机与目标

• 为解决人群计数中因透视畸变和外观变化带来的挑战，通过显式建模场景上下文信息来利用辅助信息。
• 克服标准CNN使用固定卷积核在所有上下文中导致的局限性，避免因相机角度、高度和尺度变化而产生的特征纠缠。
• 开发一种统一的深度学习架构，利用辅助信息自适应适应不同场景上下文，实现在无微调情况下的跨场景部署。
• 证明ACNN框架在人群计数之外的更广泛应用潜力，特别是在具有可变模糊核的图像去卷积任务中。
• 收集一个包含真实相机参数真值的新数据集，以支持在多样化真实场景中对上下文感知计数的评估。

提出的方法

• ACNN架构将卷积核权重参数化为高维权重空间中的低维流形，该流形由辅助信息（如相机倾斜角和高度）控制。
• 一个子网络基于辅助信息生成卷积核权重，使网络在推理时可根据不同场景上下文自适应调整卷积核。
• 卷积核流形在训练过程中学习，使网络能够将与上下文相关的差异（如透视畸变）与内容相关特征解耦。
• 该方法采用可微分的卷积核参数化方式，支持使用标准反向传播进行端到端训练。
• 在图像去模糊任务中，辅助输入为模糊核半径，ACNN学习到在不同核尺寸之间连续变化的滤波器流形。
• 该架构保持与标准CNN相近的参数量，确保效率的同时提升泛化能力。

实验结果

研究问题

• RQ1 能否有效利用相机角度和高度等辅助信息，在多样化场景上下文中提升人群计数的准确性？
• RQ2 自适应CNN架构是否能在未见过的场景上下文（如新相机角度或高度）下实现泛化，而无需微调？
• RQ3 将卷积核权重建模为由辅助信息参数化的流形，是否能带来更好的特征解耦与性能提升，相比固定卷积核？
• RQ4 ACNN框架能否扩展到其他计算机视觉任务（如具有可变辅助输入的图像去模糊）？
• RQ5 与标准CNN相比，ACNN在零样本泛化到未见过的辅助输入（如训练中未见的模糊核半径）时表现如何？

主要发现

• 在新收集的、以相机角度和高度作为辅助信息的数据集上，ACNN在参数量相近的情况下，人群计数准确率高于标准CNN。
• ACNN在跨场景计数任务中表现出良好的泛化能力，在未见的相机角度和高度下无需微调即可取得良好性能。
• 在图像去模糊任务中，ACNN在多个核半径（3, 5, 7, 9, 11）上进行训练，相比原始模糊输入，PSNR提升+1.03 dB，性能优于标准CNN近两倍。
• 即使仅在三个半径（3, 7, 11）上进行训练，ACNN仍实现+0.84 dB的PSNR增益，证明其对未见核尺寸具有强大的零样本泛化能力。
• 视觉结果表明，ACNN输出的图像细节更丰富、模糊更少，而标准CNN倾向于过度平滑去模糊后的图像。
• 在去模糊任务中学习到的滤波器流形显示，滤波器的幅值和频率均能随模糊核半径平滑变化，证实模型具备在辅助输入空间中插值的能力。