[论文解读] 3D Object Dense Reconstruction from a Single Depth View.

Bo Yang, Stefano Rosa+3 more|arXiv (Cornell University)|Feb 1, 2018

Advanced Vision and Imaging参考文献 29被引用 18

一句话总结

该论文提出3D-RecGAN++，一种基于生成对抗网络（GAN）的方法，通过单张深度图输入的体素网格，重建完整的3D物体形状。通过结合自编码器与条件GAN，该方法生成高分辨率（256³）的占据网格，无需多视角输入或类别标签即可准确恢复被遮挡区域，并在合成数据集和真实世界数据集上优于当前最先进方法。

ABSTRACT

In this paper, we propose a novel approach, 3D-RecGAN++, which reconstructs the complete 3D structure of a given object from a single arbitrary depth view using generative adversarial networks. Unlike existing work which typically requires multiple views of the same object or class labels to recover the full 3D geometry, the proposed 3D-RecGAN++ only takes the voxel grid representation of a depth view of the object as input, and is able to generate the complete 3D occupancy grid with a high resolution of 256^3 by recovering the occluded/missing regions. The key idea is to combine the generative capabilities of autoencoders and the conditional Generative Adversarial Networks (GAN) framework, to infer accurate and fine-grained 3D structures of objects in high-dimensional voxel space. Extensive experiments on large synthetic datasets and real-world Kinect datasets show that the proposed 3D-RecGAN++ significantly outperforms the state of the art in single view 3D object reconstruction, and is able to reconstruct unseen types of objects.

研究动机与目标

• 解决在部分区域被遮挡的情况下，仅从单张深度图重建完整3D物体几何结构的挑战。
• 消除先前方法中对多视角输入或类别标签的需求，以实现完整重建。
• 开发一种能够泛化至未见物体类型的高分辨率3D重建方法。
• 提升单张深度输入中缺失区域的重建精度与细粒度结构细节。

提出的方法

• 该方法以单张深度图的体素网格表示作为输入，通过自编码器将其编码至潜在空间。
• 采用条件GAN框架，其中生成器学习在给定输入深度图的条件下重建完整的3D占据网格。
• 生成器通过对抗性损失进行训练，以在256³体素空间中生成逼真且高保真度的3D结构。
• 判别器用于区分真实与生成的3D占据网格，促使生成器产出更合理且细节丰富的重建结果。
• 网络架构整合跳跃连接与多尺度监督，以保留细粒度几何细节。
• 模型在大规模合成数据集与真实世界Kinect数据集上进行端到端训练，以提升泛化能力与鲁棒性。

实验结果

研究问题

• RQ1 能否仅使用单张深度图实现高分辨率且具备细粒度细节的完整3D物体形状重建？
• RQ2 基于GAN的模型在无类别标签或多视角输入的情况下，对未见物体类别类别的泛化能力如何？
• RQ3 将自编码器与条件GAN结合，能在多大程度上提升重建质量与结构准确性？
• RQ4 与当前最先进单视角3D重建技术相比，所提方法的性能提升程度如何？

主要发现

• 3D-RecGAN++在合成数据集与真实世界数据集上的重建质量均优于当前最先进方法。
• 该模型成功重建出256³高分辨率占据网格，准确捕捉了被遮挡区域的细粒度几何细节。
• 其对未见物体类型具有良好的泛化能力，表现出超越训练分布的鲁棒性。
• 消融实验证实，自编码器与条件GAN组件的结合显著提升了重建保真度。
• 在基准数据集上的定量指标（如交并比IoU与F-Score）中，该方法优于现有方法。