[论文解读] Context-aware CNNs for person head detection

Tuan-Hung Vu, Anton Osokin+1 more|HAL (Le Centre pour la Communication Scientifique Directe)|Nov 24, 2015

Face recognition and analysis参考文献 31被引用 18

一句话总结

本文提出了一种上下文感知的CNN框架，通过将局部、全局和成对的上下文线索整合到统一模型中，实现人员头部检测。该工作引入了一个大规模数据集，包含224,740帧电影画面中的369,846个头部，并在多个基准测试中实现了最先进（SOTA）的性能，其检测精度更高且推理速度更快，优于包括R-CNN在内的先前方法。

ABSTRACT

Person detection is a key problem for many computer vision tasks. While face detection has reached maturity, detecting people under a full variation of camera view-points, human poses, lighting conditions and occlusions is still a difficult challenge. In this work we focus on detecting human heads in natural scenes. Starting from the recent local R-CNN object detector, we extend it with two types of contextual cues. First, we leverage person-scene relations and propose a Global CNN model trained to predict positions and scales of heads directly from the full image. Second, we explicitly model pairwise relations among objects and train a Pairwise CNN model using a structured-output surrogate loss. The Local, Global and Pairwise models are combined into a joint CNN framework. To train and test our full model, we introduce a large dataset composed of 369,846 human heads annotated in 224,740 movie frames. We evaluate our method and demonstrate improvements of person head detection against several recent baselines in three datasets. We also show improvements of the detection speed provided by our model.

研究动机与目标

• 在存在遮挡、姿态变化和光照不良等复杂场景下，提升人员头部检测性能。
• 解决现有目标检测器将物体孤立处理、缺乏上下文推理能力的局限性。
• 开发一种联合深度学习框架，整合局部、全局和成对的上下文线索，以提升检测效果。
• 构建一个大规模、高质量的自然视频帧中人类头部数据集，用于训练与评估。
• 在近期基线方法（如R-CNN）的基础上，实现更高的检测精度和更快的推理速度。

提出的方法

• 局部CNN模型基于R-CNN框架，利用区域特征从候选区域中检测头部。
• 全局CNN模型通过处理整幅低分辨率图像，预测头部的位置和尺度，从而捕捉场景级上下文信息。
• 成对CNN模型使用联合函数学习物体对的结构化得分，以建模相对位置、尺度和外观关系。
• 成对模型采用结构化输出代理损失进行训练，以优化联合检测性能。
• 通过学习得到的gamma参数，采用加权融合策略将三个模型（局部、全局、成对）进行融合。
• 为训练与评估引入了一个大规模数据集，包含224,740帧电影画面中的369,846个标注的人类头部。

实验结果

研究问题

• RQ1 全局场景上下文是否能显著提升复杂、杂乱场景中的头部检测精度？
• RQ2 建模检测到的头部之间的成对关系是否能改善定位效果并减少误检？
• RQ3 将局部、全局和成对CNN联合使用，是否能相比独立模型实现更优的检测性能？
• RQ4 上下文感知的CNN框架是否能在保持高精度的同时实现更快的推理速度？
• RQ5 该方法在包含多样姿态、遮挡和光照条件的现实世界视频数据上表现如何？

主要发现

• 所提出的上下文感知CNN框架在三个基准数据集上均实现了最先进性能，平均精度（Average Precision）超越R-CNN及其他近期基线方法。
• 仅使用全局CNN模型即可在不同图像尺度和位置下实现准确的粗粒度定位，证明了完整图像上下文信息的价值。
• 成对CNN模型通过建模头部检测之间的吸引与排斥关系，有效减少了误检，提升了定位的一致性。
• 联合模型的推理速度优于标准R-CNN，原因在于全局模型能高效生成高质量候选区域。
• 新构建的包含369,846个头部、224,740帧视频画面的数据集，使模型训练更加鲁棒，评估更加可靠，尤其在存在遮挡的挑战性场景中表现突出。
• 在改进后的Casablanca数据集上，该方法显著优于VJ-CRF及其他基线方法，证实了高质量标注与上下文建模的显著影响。