[论文解读] Seeing What Is Not There: Learning Context to Determine Where Objects Are Missing

Jin Sun, David W. Jacobs|arXiv (Cornell University)|Feb 26, 2017

Video Surveillance and Tracking Methods参考文献 18被引用 4

一句话总结

本文提出一种全卷积神经网络，通过学习以物体为中心的上下文表征，检测图像中物体缺失的位置，即使图像中不存在任何实例也能实现。通过采用隐式掩码学习策略来忽略物体，模型生成预测物体位置的概率热力图，在街景图像中对缺失的路缘坡道实现27%的召回率，且具有高效率和对上下文外物体检测的泛化能力。

ABSTRACT

Most of computer vision focuses on what is in an image. We propose to train a standalone object-centric context representation to perform the opposite task: seeing what is not there. Given an image, our context model can predict where objects should exist, even when no object instances are present. Combined with object detection results, we can perform a novel vision task: finding where objects are missing in an image. Our model is based on a convolutional neural network structure. With a specially designed training strategy, the model learns to ignore objects and focus on context only. It is fully convolutional thus highly efficient. Experiments show the effectiveness of the proposed approach in one important accessibility task: finding city street regions where curb ramps are missing, which could help millions of people with mobility disabilities.

研究动机与目标

• 开发一种高效、独立的上下文模型，即使在图像中不存在物体时也能预测物体应存在的位置。
• 解决城市街道环境中因缺少路缘坡道而对行动不便人群造成的关键可及性挑战。
• 实现在无需缺失或异常实例标注样本的情况下，自动检测缺失物体。
• 将上下文学习与物体检测解耦，使标准物体检测器和上下文模型可复用于新任务。

提出的方法

• 在带有显式物体掩码的图像上训练基础卷积神经网络，学习剩余图像区域中的上下文信息。
• 提出一种新颖的训练策略，引入隐式掩码预测头，强制网络忽略物体，仅关注上下文特征。
• 模型为全卷积结构，可实现对整幅图像的概率热力图的快速高效生成。
• 将上下文得分图与物体检测器输出结合，识别物体缺失的区域（物体得分低，上下文得分高）。
• 训练过程中应用困难负样本挖掘，以提升对缺失物体区域的定位能力。
• 通过反转得分阈值逻辑，将该方法适配用于上下文外物体检测。

实验结果

研究问题

• RQ1 在仅使用正常物体实例进行训练的独立上下文模型，能否在无显式缺失物体标注的情况下检测图像中物体的缺失位置？
• RQ2 隐式掩码学习在多大程度上能强制CNN忽略物体并专注于纯上下文特征？
• RQ3 模型架构（如全卷积）对缺失物体检测的推理速度和定位准确率有何影响？
• RQ4 同一上下文模型能否泛化用于检测上下文外的物体，例如缺少身体的面部？
• RQ5 当应用于大规模城市街景数据集时，该方法在召回率和效率方面的扩展性如何？

主要发现

• 所提方法在543个街景交叉路口中实现了对真实缺失路缘坡道区域27%的召回率，仅扫描500个区域即识别出27%的所有缺失路缘坡道。
• 采用困难负样本挖掘的SFC（全卷积）网络在性能上显著优于基线方法（随机得分和空间先验图），尤其在较小区域尺寸下表现更优。
• SFC网络在不同区域尺寸（100–400像素）下保持一致的性能，400像素时平均召回率为21.8，200像素时为24.1，表明其具有出色的定位准确率。
• 该系统效率极高，生成上下文图仅需4秒/张图像，检测过程耗时22秒，可在数小时内完成城市规模的扫描。
• 在Wider Face数据集上的初步结果显示，该方法检测到27个上下文缺失的面部，优于随机评分方法（14次检测），展现出良好的泛化潜力。
• 该方法可实现可扩展、低成本的可及性审计预处理，通过优先选择高影响的城市交叉路口进行人工检查，显著减少人工标注需求。