[论文解读] 3D Reconstruction of Simple Objects from A Single View Silhouette Image

Xinhan Di, P. L. Yu|arXiv (Cornell University)|Jan 17, 2017

Advanced Vision and Imaging参考文献 26被引用 8

一句话总结

本文提出一种堆叠分层深度学习框架，用于从单视角轮廓图像进行类别特定的3D重建，完全摒弃对RGB纹理和额外监督的依赖。通过采用端到端训练策略及用于粗粒度3D体素分割的复制层，该模型在球面上广泛且随机分布的视角下实现了更高的IoU（相比3D-R2N2最高提升0.1）和更强的鲁棒性，优于以往在单视角轮廓重建任务中的方法。

ABSTRACT

While recent deep neural networks have achieved promising results for 3D reconstruction from a single-view image, these rely on the availability of RGB textures in images and extra information as supervision. In this work, we propose novel stacked hierarchical networks and an end to end training strategy to tackle a more challenging task for the first time, 3D reconstruction from a single-view 2D silhouette image. We demonstrate that our model is able to conduct 3D reconstruction from a single-view silhouette image both qualitatively and quantitatively. Evaluation is performed using Shapenet for the single-view reconstruction and results are presented in comparison with a single network, to highlight the improvements obtained with the proposed stacked networks and the end to end training strategy. Furthermore, 3D re- construction in forms of IoU is compared with the state of art 3D reconstruction from a single-view RGB image, and the proposed model achieves higher IoU than the state of art of reconstruction from a single view RGB image.

研究动机与目标

• 为解决缺乏RGB纹理且存在高度模糊性的单视角轮廓图像3D重建挑战。
• 通过利用深度学习先验知识，减少对RGB纹理和额外监督的依赖，实现仅基于轮廓输入的3D重建。
• 实现从球面上广泛且随机分布的单视角轮廓图像中进行鲁棒的3D重建，超越有限圆形视角配置的限制。
• 设计一种新颖的堆叠分层网络架构，并结合端到端训练策略以提升性能。
• 在类别特定的3D重建任务中，实现基于轮廓图像的SOTA IoU表现，超越在RGB图像上训练的方法。

提出的方法

• 复制层通过简单的2D到3D体素复制，从单个2D轮廓图像生成粗粒度3D分割结果。
• 堆叠分层网络架构通过组合多个单个网络，逐步优化3D形状重建。
• 端到端训练策略控制堆叠网络中的梯度流动，通过最小化最终网络输出的误差，无需预训练或分阶段训练。
• 该训练策略采用独特的误差最小化准则，专注于最终网络输出，与逐层组合准则不同。
• 框架在3960张从物体周围球面随机采样的汽车和飞机单视角轮廓图像上进行训练。
• 真实3D形状在训练过程中位置和朝向保持固定，以避免旋转/平移带来的歧义。

实验结果

研究问题

• RQ1 深度学习模型能否在无RGB纹理和额外监督的情况下，从单视角二值轮廓图像实现高质量的3D重建？
• RQ2 与单个网络相比，采用端到端训练的堆叠分层网络架构是否能更优地实现基于轮廓的3D重建？
• RQ3 该模型能否泛化到在完整球面上随机分布的单视角轮廓图像，而非局限于圆形或部分球面区域？
• RQ4 在IoU指标上，该方法与基于单视角RGB图像的SOTA 3D重建方法相比，定量表现如何？
• RQ5 在难以重建的轮廓视角下，重建质量的提升是否在所有挑战性样本中保持一致？

主要发现

• 与3D-R2N2相比，堆叠分层网络在单视角RGB图像上的平均IoU更高，汽车和飞机的IoU分别提升0.1和0.07。
• 在3960张随机分布的单视角轮廓图像上，74.87%的汽车重建和52.83%的飞机重建达到高IoU，表明模型具有强大的泛化能力。
• 与单个网络相比，该模型在困难的单视角轮廓图像上表现出显著更高的IoU，且在所有测试案例中均保持一致的性能提升。
• IoU测量结果的标准误差约为10^-4，证实了结果具有高度的统计可靠性。
• 所提方法在基于单视角轮廓图像的3D重建任务中达到SOTA性能，甚至在IoU指标上超越了在RGB数据上训练的方法。
• 该框架成功实现了从球面上广泛且随机分布视角的3D形状重建，这是以往网络框架尚未实现的能力。