[论文解读] 3D-SIC: 3D Semantic Instance Completion for RGB-D Scans

Ji Hou, Angela Dai+1 more|arXiv (Cornell University)|Sep 25, 2019

3D Shape Modeling and Analysis参考文献 34被引用 6

一句话总结

本文提出3D-SIC，一种新颖的端到端深度学习框架，用于从RGB-D扫描中完成3D语义实例，通过联合学习颜色与几何特征，同时检测物体实例并预测其完整的3D几何结构。该方法在ScanNet上超越先前方法超过15 mAP@0.5，在SUNCG上超越18 mAP@0.5，达到最先进性能。

ABSTRACT

This paper introduces the task of semantic instance completion: from an incomplete RGB-D scan of a scene, we aim to detect the individual object instances comprising the scene and infer their complete object geometry. This enables a semantically meaningful decomposition of a scanned scene into individual, complete 3D objects, including hidden and unobserved object parts. This will open up new possibilities for interactions with object in a scene, for instance for virtual or robotic agents. To address this task, we propose 3D-SIC, a new data-driven approach that jointly detects object instances and predicts their completed geometry. The core idea of 3D-SIC is a novel end-to-end 3D neural network architecture that leverages joint color and geometry feature learning. The fully-convolutional nature of our 3D network enables efficient inference of semantic instance completion for 3D scans at scale of large indoor environments in a single forward pass. In a series evaluation, we evaluate on both real and synthetic scan benchmark data, where we outperform state-of-the-art approaches by over 15 in mAP@0.5 on ScanNet, and over 18 in mAP@0.5 on SUNCG.

研究动机与目标

• 解决从不完整RGB-D扫描中重建单个物体实例完整3D几何结构的挑战。
• 实现场景在语义上有意义的分解，生成完整且可识别的3D物体，包括被遮挡或未观测到的部分。
• 开发一种可扩展、高效的推理方法，适用于大规模室内环境，采用全卷积3D神经网络。
• 在单次前向传播中联合检测物体实例并预测其完整3D形状。
• 在真实与合成基准数据集上，将语义实例完成性能提升至超越现有最先进方法的水平。

提出的方法

• 3D-SIC采用全卷积3D神经网络架构，对原始RGB-D扫描进行端到端处理。
• 该模型利用输入扫描中颜色与几何信息的联合特征学习。
• 通过共享主干网络从场景的3D体素网格表示中提取多尺度特征。
• 网络通过每个任务专用的头部，同时预测实例分割掩码与完整3D形状。
• 该架构支持在大规模室内场景中实现高效单次推理。
• 该方法通过结合实例分割与形状完成目标的多任务损失进行训练。

实验结果

研究问题

• RQ1 统一的深度学习框架能否从不完整的RGB-D扫描中联合检测物体实例并预测其完整3D几何结构？
• RQ2 联合颜色与几何特征学习在提升3D语义实例完成性能方面的有效性如何？
• RQ3 所提出的3D-SIC方法在真实与合成RGB-D扫描数据集之间的泛化能力如何？
• RQ4 在基准数据集上，3D-SIC与最先进方法相比，mAP@0.5指标表现如何？
• RQ5 该模型能否在大规模室内环境中实现高效扩展，并具备实时推理能力？

主要发现

• 在ScanNet基准上，3D-SIC的mAP@0.5得分比最先进方法高出超过15分。
• 在SUNCG合成数据集上，3D-SIC相比先前方法将mAP@0.5提升了超过18分。
• 全卷积设计支持在大规模室内场景中实现高效单次推理。
• 联合颜色与几何特征学习显著增强了模型预测完整物体形状的能力。
• 该方法在真实世界（ScanNet）与合成（SUNCG）RGB-D扫描数据上均表现出良好的泛化能力。
• 性能提升证明了在3D实例级重建中，端到端联合检测与完成的有效性。