[论文解读] 3D-GMNet: Single-View 3D Shape Recovery as A Gaussian Mixture

Kohei Yamashita, Shohei Nobuhara+1 more|arXiv (Cornell University)|Dec 10, 2019

Advanced Vision and Imaging参考文献 38被引用 4

一句话总结

3D-GMNet 提出了一种基于可学习三维高斯混合模型的深度学习框架，用于单视角三维形状重建，实现了紧凑、解析的形状表示，支持即时姿态估计和可控的细节层次。该方法通过三维高斯混合损失和二维多视角一致性损失实现端到端训练，在重建保真度和效率方面优于体素、点云和网格基基线模型，达到当前最优性能。

ABSTRACT

In this paper, we introduce 3D-GMNet, a deep neural network for 3D object shape reconstruction from a single image. As the name suggests, 3D-GMNet recovers 3D shape as a Gaussian mixture. In contrast to voxels, point clouds, or meshes, a Gaussian mixture representation provides an analytical expression with a small memory footprint while accurately representing the target 3D shape. At the same time, it offers a number of additional advantages including instant pose estimation and controllable level-of-detail reconstruction, while also enabling interpretation as a point cloud, volume, and a mesh model. We train 3D-GMNet end-to-end with single input images and corresponding 3D models by introducing two novel loss functions, a 3D Gaussian mixture loss and a 2D multi-view loss, which collectively enable accurate shape reconstruction as kernel density estimation. We thoroughly evaluate the effectiveness of 3D-GMNet with synthetic and real images of objects. The results show accurate reconstruction with a compact representation that also realizes novel applications of single-image 3D reconstruction.

研究动机与目标

• 通过从单张图像学习紧凑且解析的三维表示，解决单视角三维形状重建的病态性问题。
• 通过引入可微分的高斯混合模型，克服传统表示方式的局限性——如体素网格（内存占用高）、点云（缺乏拓扑结构）和网格（拓扑刚性）——实现更优的表示能力。
• 通过高斯混合模型的几何特性，实现新型功能，如即时姿态估计和可控的细节层次重建。
• 通过新型三维高斯混合损失和二维多视角一致性损失，实现网络的端到端训练，确保与真实三维形状的一致性以及多视角一致性。
• 在合成数据和真实世界图像（包括 Pix3D 数据集）上均表现出良好的泛化能力，同时以极少的参数保持高重建精度。

提出的方法

• 3D-GMNet 使用卷积神经网络，从单张输入图像回归三维高斯混合模型的参数（均值、协方差和权重）。
• 通过三维高斯混合损失进行网络训练，该损失衡量预测与真实三维高斯混合在三维空间中的差异，从而促进精确的形状重建。
• 引入二维多视角损失，通过比较从预测的三维高斯混合模型渲染出的二维图像与真实图像观测，强制多视角之间的一致性。
• 高斯混合表示支持高效采样为点云、通过核密度估计进行体素渲染，以及通过等值面提取生成表面网格，实现多模态几何解释。
• 方法在相机中心坐标系下运行，通过在不同视角间对齐协方差矩阵，实现直接的姿态估计。
• 通过高斯混合模型简化（例如使用 Runnalls 算法）实现细节层次控制，支持无需重新训练的动态简化。

实验结果

研究问题

• RQ1 可学习的三维高斯混合表示能否实现从单张图像出发的精确且紧凑的三维形状重建？
• RQ2 所提出的三维高斯混合损失与二维多视角损失是否能有效支持单视角三维重建的端到端训练？
• RQ3 高斯混合表示能否支持新型应用，如姿态估计与可控的细节层次重建？
• RQ4 在重建精度与内存效率方面，3D-GMNet 的性能相较于当前最优方法表现如何？
• RQ5 该方法能否在无视角或类别显式监督的情况下，泛化到真实世界图像？

主要发现

• 尽管采用紧凑的高斯混合表示，3D-GMNet 在合成图像和真实图像（包括 Pix3D 数据集）上的重建精度仍与当前最优方法相当。
• 通过在相机坐标系中对齐高斯分量的协方差矩阵，该方法能够实现对同一物体两幅图像之间精确的三维姿态估计。
• 通过将高斯分量数从 512 个减少到 16 个，实现了可控的细节层次重建，且精度损失极小，充分体现了该表示的灵活性。
• 三维高斯混合表示支持多种几何解释：点云、体素和表面网格，均源自单一解析模型。
• 由于使用了完整的三维协方差矩阵，该方法在重建非轴对齐结构物体时，显著优于基于轴对齐高斯的方法（如 Genova 等人提出的方法）。
• 二维多视角损失显著提升了泛化能力与多视角一致性，尤其在真实世界图像上表现突出，通过强制各视角间的光度对齐实现性能增强。