[论文解读] 3D Sketch-aware Semantic Scene Completion via Semi-supervised Structure Prior

Xiaokang Chen, Kwan-Yee Lin+3 more|arXiv (Cornell University)|Mar 31, 2020

Advanced Vision and Imaging参考文献 46被引用 13

一句话总结

本文提出了一种3D草图感知的语义场景补全框架，通过基于条件变分自编码器（CVAE）的3D草图幻觉模块引入半监督结构先验，从部分观测中推断完整的3D草图。通过显式地通过3D草图编码几何结构，该方法在三个基准数据集上实现了低分辨率（60×36×60）下的最先进性能，SSC mIoU相比之前方法最高提升4.6%。

ABSTRACT

The goal of the Semantic Scene Completion (SSC) task is to simultaneously predict a completed 3D voxel representation of volumetric occupancy and semantic labels of objects in the scene from a single-view observation. Since the computational cost generally increases explosively along with the growth of voxel resolution, most current state-of-the-arts have to tailor their framework into a low-resolution representation with the sacrifice of detail prediction. Thus, voxel resolution becomes one of the crucial difficulties that lead to the performance bottleneck. In this paper, we propose to devise a new geometry-based strategy to embed depth information with low-resolution voxel representation, which could still be able to encode sufficient geometric information, e.g., room layout, object's sizes and shapes, to infer the invisible areas of the scene with well structure-preserving details. To this end, we first propose a novel 3D sketch-aware feature embedding to explicitly encode geometric information effectively and efficiently. With the 3D sketch in hand, we further devise a simple yet effective semantic scene completion framework that incorporates a light-weight 3D Sketch Hallucination module to guide the inference of occupancy and the semantic labels via a semi-supervised structure prior learning strategy. We demonstrate that our proposed geometric embedding works better than the depth feature learning from habitual SSC frameworks. Our final model surpasses state-of-the-arts consistently on three public benchmarks, which only requires 3D volumes of 60 x 36 x 60 resolution for both input and output. The code and the supplementary material will be available at https://charlesCXK.github.io.

研究动机与目标

• 解决由低分辨率体素表示引起的语义场景补全（SSC）性能瓶颈问题。
• 通过显式地使用3D草图编码几何结构，而非依赖隐式深度特征，提升场景重建与语义标注的准确性。
• 开发一种轻量化、高效的框架，利用结构先验指导遮挡或不完整场景的补全。
• 证明显式几何嵌入（通过3D草图）在低分辨率设置下优于隐式深度特征学习。

提出的方法

• 提出一种3D草图感知的特征嵌入方法，以分辨率无关的方式编码几何结构（如房间布局、物体尺寸/形状）。
• 提出一种基于条件变分自编码器（CVAE）的3D草图幻觉模块，从部分2D/2.5D观测中生成合理的完整3D草图。
• 采用两阶段框架：首先从输入（TSDF或RGB）中幻觉生成3D草图，然后利用生成的草图指导占据率与语义预测。
• 通过CVAE的先验分布实现半监督学习，生成多样化且逼真的3D草图，同时保持结构一致性。
• 使用TSDF进行结构预测，使用RGB进行语义优化，在多模态设置中发挥各模态的特有优势。
• 设计一种轻量化网络，在60×36×60体素分辨率下保持高效率与高精度。

实验结果

研究问题

• RQ1 与隐式深度特征学习相比，显式基于3D草图的几何嵌入是否能提升语义场景补全性能？
• RQ2 通过CVAE实现的半监督结构先验是否能增强低分辨率设置下不可见场景区域的重建？
• RQ3 3D草图的分辨率无关特性如何影响在不完整或低分辨率输入下的性能表现？
• RQ4 多模态输入（TSDF + RGB）是否能同时提升结构先验与语义标注的准确性？

主要发现

• 所提方法仅使用60×36×60的输入与输出分辨率，在三个公开基准数据集（NYU、NYUCAD、ScanNet）上实现了最先进性能。
• 相比不使用监督的隐式深度特征基线方法，该方法在SSC mIoU上提升4.6%，在SC IoU上提升3.1%。
• 使用TSDF作为草图幻觉的输入，相比仅使用RGB输入，SC IoU提升3.3%，证明几何输入在结构预测中的优越性。
• 结合TSDF生成草图、RGB进行语义优化，相比仅使用TSDF，SSC mIoU提升3.9%。
• 将输入与输出分辨率从60×60提升至80×80，NYUCAD数据集上的SC IoU提升5.0%（从84.2%提升至86.0%），同时保持高度语义一致性。
• 定性结果表明，基于CVAE的幻觉模块生成的草图更清晰、更完整，从而带来更准确、更一致的语义预测，边界更清晰。