[论文解读] Im2Struct: Recovering 3D Shape Structure from a Single RGB Image

Chengjie Niu, Jun Li+1 more|arXiv (Cornell University)|Apr 16, 2018

Advanced Vision and Imaging参考文献 22被引用 11

一句话总结

本文提出 Im2Struct，一种深度学习框架，能够从单张 RGB 图像中恢复出详细的基于长方体的 3D 形状结构，包括部件连接关系与对称性。该框架采用两阶段网络结构：首先通过多尺度卷积结构掩码网络突出显示物体结构，随后利用递归神经网络解码器融合图像特征，重建出一系列合理的 3D 长方体层次结构，在 3D 部件结构恢复任务中实现了最先进的保真度与结构合理性。

ABSTRACT

We propose to recover 3D shape structures from single RGB images, where structure refers to shape parts represented by cuboids and part relations encompassing connectivity and symmetry. Given a single 2D image with an object depicted, our goal is automatically recover a cuboid structure of the object parts as well as their mutual relations. We develop a convolutional-recursive auto-encoder comprised of structure parsing of a 2D image followed by structure recovering of a cuboid hierarchy. The encoder is achieved by a multi-scale convolutional network trained with the task of shape contour estimation, thereby learning to discern object structures in various forms and scales. The decoder fuses the features of the structure parsing network and the original image, and recursively decodes a hierarchy of cuboids. Since the decoder network is learned to recover part relations including connectivity and symmetry explicitly, the plausibility and generality of part structure recovery can be ensured. The two networks are jointly trained using the training data of contour-mask and cuboid structure pairs. Such pairs are generated by rendering stock 3D CAD models coming with part segmentation. Our method achieves unprecedentedly faithful and detailed recovery of diverse 3D part structures from single-view 2D images. We demonstrate two applications of our method including structure-guided completion of 3D volumes reconstructed from single-view images and structure-aware interactive editing of 2D images.

研究动机与目标

• 为解决单视角 3D 重建中 3D 形状结构恢复的不足，特别是体素输出中拓扑与组成信息的丢失问题。
• 实现在单张 2D 图像上直接推理出 3D 部件结构——包括长方体及其关系（连接性、对称性）。
• 通过将结构推理整合到基于深度学习的 2D 到 3D 映射中，提升 3D 形状重建的保真度与合理性。
• 通过提供显式的 3D 结构先验，支持下游应用如结构感知的 3D 体素优化与交互式图像编辑。

提出的方法

• 使用带有跳跃连接的多尺度卷积神经网络（CNN）作为结构掩码网络，生成突出显示物体结构、同时抑制背景与纹理的轮廓掩码。
• 结构恢复网络融合输入图像与结构掩码的特征，随后通过递归神经网络（RvNN）递归解码，生成分层的长方体结构。
• RvNN 解码器经过训练，可显式建模部件关系，包括连接性与反射对称性，确保生成的 3D 结构在几何上合理。
• 两个网络通过成对训练数据联合训练：真实轮廓掩码与从带部件分割的渲染 CAD 模型中提取的对应 3D 长方体结构标注。
• 训练数据通过渲染现成的 3D CAD 模型生成，提供轮廓掩码与 3D 长方体结构的成对监督信号。
• 后处理包括相机视角估计，以及将 3D 长方体投影到 2D 空间以与输入图像对齐，从而实现结构感知的编辑。

实验结果

研究问题

• RQ1 深度学习模型能否从单张 2D RGB 图像中恢复出包含对称性与连接性等部件关系的详细 3D 形状结构？
• RQ2 如何在神经网络中显式建模结构推理（如对称性与连接性），以提升 3D 部件结构恢复的合理性？
• RQ3 结构感知的 3D 重建在多大程度上能提升单视角图像的体素化 3D 重建质量？
• RQ4 与现有方法相比，恢复出的 3D 结构能否实现更直观且语义一致的 2D 图像编辑？

主要发现

• 该方法在从单视角 2D 图像中恢复 3D 部件结构方面实现了前所未有的保真度与细节，其在结构准确度与合理性方面优于以往方法。
• 采用 VGG-19 主干网络时，结构掩码网络在 δ < 0.1 条件下轮廓掩码误差为 0.0846，结构检测准确率达 78.5%，表现出优异的结构定位能力。
• 结构恢复网络成功推断出连接性与反射对称性，如椅子结构示例中红色箭头所示，明确标识出恢复出的对称腿对。
• 在体素优化中，恢复出的对称关系可补全 3D-GAN 输出中缺失的体素，恢复结构对称性并提升重建质量。
• 该方法通过自动生成 3D 长方体代理模型，实现结构感知的 2D 图像编辑，引导合理的形状形变，同时保持结构一致性。
• 该框架是首个从单张 RGB 图像中联合恢复 3D 形状结构与部件关系的方法，为结构感知的 3D 重建设立了新基准。