[论文解读] Learning Shape Priors for Single-View 3D Completion and Reconstruction

Jiajun Wu, Chengkai Zhang+4 more|arXiv (Cornell University)|Sep 13, 2018

Advanced Vision and Imaging参考文献 51被引用 13

一句话总结

本文提出ShapeHD，一种深度生成模型，通过整合对抗性学习的形状先验，提升单视角3D形状补全与重建性能。通过仅惩罚不切实际的形状而非偏离真实值的偏差，ShapeHD克服了结构上的模糊性以及生成模糊平均形状的倾向，实现了推理时间低于100ms的高保真、细节丰富的重建，性能达到当前最先进水平。

ABSTRACT

The problem of single-view 3D shape completion or reconstruction is challenging, because among the many possible shapes that explain an observation, most are implausible and do not correspond to natural objects. Recent research in the field has tackled this problem by exploiting the expressiveness of deep convolutional networks. In fact, there is another level of ambiguity that is often overlooked: among plausible shapes, there are still multiple shapes that fit the 2D image equally well; i.e., the ground truth shape is non-deterministic given a single-view input. Existing fully supervised approaches fail to address this issue, and often produce blurry mean shapes with smooth surfaces but no fine details. In this paper, we propose ShapeHD, pushing the limit of single-view shape completion and reconstruction by integrating deep generative models with adversarially learned shape priors. The learned priors serve as a regularizer, penalizing the model only if its output is unrealistic, not if it deviates from the ground truth. Our design thus overcomes both levels of ambiguity aforementioned. Experiments demonstrate that ShapeHD outperforms state of the art by a large margin in both shape completion and shape reconstruction on multiple real datasets.

研究动机与目标

• 解决单视角3D重建中的双重模糊性：从2D观测中推断3D形状的病态性，以及单个输入存在多种合理、真实的形状的可能性。
• 克服完全监督方法的局限性，后者由于真实值的非确定性，常产生模糊、平均化的输出。
• 通过引入对抗性学习的自然性先验，改善3D形状补全与重建，使模型更倾向于生成真实、细节丰富的形状，而非平均或不合理的形状。
• 实现高效、高质量的细节化3D重建，推理时间低于100ms，适用于实际部署。

提出的方法

• ShapeHD采用深度体素卷积编码器-解码器网络，从单张RGB或深度图像预测3D体素网格。
• 引入通过对抗判别器学习的自然性损失，用于区分真实与不真实的3D形状，从而促使生成器输出更合理、更细节丰富的结果。
• 模型通过端到端训练，结合体素级重建损失（如二元交叉熵或L1损失）与对抗性损失，以平衡保真度与真实性。
• 对抗性训练组件作为正则化器，仅惩罚不切实际的形状，而非真实值的偏差，从而解决第二层次的模糊性。
• 通过激活图可视化，网络隐式学习到部件检测器，能够关注如车轮、椅子腿、飞机发动机等物体部件。
• 通过聚焦于体素网格中权重较高、细节丰富的微小区域，自然性损失有助于恢复标准重建损失所忽略的精细形状细节。

实验结果

研究问题

• RQ1 对抗性学习的形状先验是否能提升单视角输入下3D形状重建的逼真度与细节？
• RQ2 与监督基线方法相比，该模型在处理3D形状补全非确定性特性方面表现如何？
• RQ3 所学习的先验在多大程度上使模型能够恢复均值形状输出所遗漏的精细结构细节？
• RQ4 该模型是否在不同物体类别间具有泛化能力，能否有效处理形变或稀有部件？
• RQ5 自然性损失如何影响训练过程中形状细节的演化？

主要发现

• 在ShapeNet数据集上，ShapeHD在32³分辨率下实现了0.284的IoU，优于当前最先进方法，在3D形状补全与重建任务中表现卓越。
• 在Pix3D数据集上，ShapeHD的Chamfer Distance达到0.123，显著优于3D-R2N2（0.239）、DRC（0.160）和PSGN（0.199）。
• 人类偏好研究表明，ShapeHD的重建结果在64.5%的情况下优于OGN；在飞机和汽车类别中，偏好率分别为59%和35%。
• 特征图可视化证实，网络能够学习检测有意义的物体部件，如汽车车轮、椅子靠背和飞机发动机。
• 自然性损失使模型在训练过程中逐步添加精细细节，如形状演化可视化所示；而仅使用标准重建损失则无法恢复此类细节。
• 失败案例揭示了模型在处理极细结构、形变部件（如旋转的车轮）以及稀有特征（如车轮上方的环）方面存在局限，表明其对形状复杂度与稀疏性较为敏感。