[论文解读] Amodal Completion and Size Constancy in Natural Scenes

Abhishek Kar, Shubham Tulsiani+2 more|arXiv (Cornell University)|Sep 27, 2015

Advanced Neural Network Applications参考文献 27被引用 10

一句话总结

本文提出了一种框架，通过结合非模态边界框补全、类别特定的尺寸分布建模以及从场景上下文中预测焦距，从单张图像中估计自然场景中物体的真实尺寸和相对深度。该方法通过几何推理和学习到的焦距先验，将物体尺寸与距离解耦，实现了稳健的尺寸恒定性，在复杂的真实世界场景中表现出定性成功。

ABSTRACT

We consider the problem of enriching current object detection systems with veridical object sizes and relative depth estimates from a single image. There are several technical challenges to this, such as occlusions, lack of calibration data and the scale ambiguity between object size and distance. These have not been addressed in full generality in previous work. Here we propose to tackle these issues by building upon advances in object recognition and using recently created large-scale datasets. We first introduce the task of amodal bounding box completion, which aims to infer the the full extent of the object instances in the image. We then propose a probabilistic framework for learning category-specific object size distributions from available annotations and leverage these in conjunction with amodal completion to infer veridical sizes in novel images. Finally, we introduce a focal length prediction approach that exploits scene recognition to overcome inherent scaling ambiguities and we demonstrate qualitative results on challenging real-world scenes.

研究动机与目标

• 使物体检测系统能够从单张图像中推断真实物体尺寸和相对深度，克服2D边界框输出的局限性。
• 解决自然场景中遮挡、尺寸与距离之间的尺度模糊性以及缺乏校准数据的挑战。
• 开发一个可泛化的框架，利用物体识别和场景理解实现更丰富的三维场景感知。
• 证明仅从场景图像即可预测焦距，从而实现度量尺寸估计。

提出的方法

• 将非模态补全作为识别任务引入，使用卷积神经网络从可见部分预测物体边界框的完整范围。
• 从标注数据中学习类别特定的物体尺寸分布，以支持不同物体类别间的尺寸恒定性。
• 提出一种概率框架，结合非模态补全和尺寸先验，推断场景中物体的相对尺寸和深度。
• 开发焦距预测模型，使用在Places数据集上微调并附带EXIF元数据的场景分类网络，以解决尺度模糊性。
• 采用多类别分类方法，从场景图像中预测焦距比值（对数分箱），利用场景上下文估计相机参数。
• 结合几何推理（基于非模态范围和透视线索）与学习到的先验，实现在复杂、遮挡场景中的尺寸恒定性。

实验结果

研究问题

• RQ1 能否从深度特征中有效学习非模态边界框补全，以恢复遮挡场景中物体的完整范围？
• RQ2 能否学习并利用类别特定的尺寸分布，在存在遮挡的新图像中推断物体的相对尺寸？
• RQ3 在无相机元数据的情况下，仅从场景图像中预测焦距的程度如何，能否有效解决尺寸估计中的尺度模糊性？
• RQ4 结合非模态补全、尺寸先验和焦距预测的统一框架，能否在复杂自然场景中实现真实尺寸估计？

主要发现

• 所提出的非模态补全模型在PASCAL VOC数据集上训练的CNN基础上，实现了对完整物体范围的准确预测，能够恢复不可见的物体部分。
• 该框架成功通过几何推理将物体尺寸与距离解耦，即使在存在遮挡的情况下也能实现相对尺寸估计。
• 从场景图像中预测焦距是可行的：表现最佳的模型（PlacesNet-Places）达到54.3%的top-1准确率，显著优于随机猜测和模式基线。
• 最佳模型的top-5预测准确率为3.1%，表明焦距可被可靠估计，足以支持粗粒度的度量尺寸估计。
• 定性结果表明，该系统能够在存在多重遮挡的复杂真实世界场景中推断出合理且真实可信的物体尺寸和深度关系。
• 该方法表明，场景上下文和学习到的先验可以弥补缺失的校准数据，实现在非受限环境中的尺寸恒定性。