[论文解读] Complete 3D Scene Parsing from Single RGBD Image.

Chuhang Zou, Zhizhong Li+1 more|arXiv (Cornell University)|Oct 25, 2017

Advanced Image and Video Retrieval Techniques被引用 7

一句话总结

该论文提出了一种方法，通过使用基于CNN的形状检索和支撑推理，从单张RGBD图像中检索并对齐详细的CAD模型，以生成完整的3D场景解析。该方法在新标注的NYUv2数据集上实现了最先进性能，该数据集为所有物体提供了半自动标注的3D形状。

ABSTRACT

Inferring the location, shape, and class of each object in a single image is an important task in computer vision. In this paper, we aim to predict the full 3D parse of both visible and occluded portions of the scene from one RGBD image. We parse the scene by modeling objects as detailed CAD models with class labels and layouts as 3D planes. Such an interpretation is useful for visual reasoning and robotics, but difficult to produce due to the high degree of occlusion and the diversity of object classes. We follow the recent approaches that retrieve shape candidates for each RGBD region proposal, transfer and align associated 3D models to compose a scene that is consistent with observations. We propose to use support inference to aid interpretation and propose a retrieval scheme that uses convolutional neural networks (CNNs) to classify regions and retrieve objects with similar shapes. We demonstrate the performance of our method compared with the state-of-the-art on our new NYUd v2 dataset annotations which are semi-automatically labelled with detailed 3D shapes for all the objects.

研究动机与目标

• 从单张RGBD图像中实现完整的3D场景解析，包括可见和被遮挡的物体部分。
• 将物体建模为带有类别标签和布局作为3D平面的详细CAD模型，以实现更丰富的场景理解。
• 解决在3D场景理解中因高遮挡和多样化的物体类别带来的挑战。
• 通过利用支撑推理和形状检索，提升场景的一致性和准确性。

提出的方法

• 该方法使用来自RGBD图像的区域提议来识别潜在的物体位置。
• 应用卷积神经网络（CNN）对区域进行分类，并检索具有相似几何形状的形状候选。
• 利用训练数据中相关形状的支撑推理来引导解释过程。
• 将检索到的3D CAD模型对齐并变换，以匹配观测到的场景几何和约束条件。
• 该方法联合优化物体类别、形状和空间布局，以确保与RGBD观测的一致性。
• 为评估目的，引入了一个新构建的半自动标注的NYUv2数据集，其中包含详细的3D形状。

实验结果

研究问题

• RQ1 如何利用单张RGBD图像改进对可见和被遮挡物体部分的3D场景解析？
• RQ2 通过CNN进行的形状检索在提升3D场景一致性和准确性方面起到什么作用？
• RQ3 支撑推理能否有效指导复杂遮挡场景中3D CAD模型的选择与对齐？
• RQ4 与简单的几何原语相比，集成详细CAD模型在场景解析中的表现如何？
• RQ5 所提出的方法在具有丰富3D标注的数据集上，相较于最先进方法的性能提升程度如何？

主要发现

• 所提出的方法在新标注的、包含详细3D形状的NYUv2数据集上实现了最先进性能。
• 基于CNN的形状检索显著提高了物体模型选择与对齐的准确性。
• 支撑推理增强了场景解析的鲁棒性，尤其是在高度遮挡区域。
• 使用详细CAD模型可带来更准确且语义一致的3D场景解析结果。
• 半自动标注的NYUv2数据集为未来3D场景解析研究提供了宝贵的基准。