[论文解读] Learning a Hierarchical Latent-Variable Model of Voxelized 3D Shapes.

Shikun Liu, Alexander G. Ororbia+1 more|arXiv (Cornell University)|May 17, 2017

3D Shape Modeling and Analysis被引用 3

一句话总结

Variational Shape Learner (VSL) 是一种分层变分自编码器，通过使用跳跃连接，在无监督条件下学习体素化3D形状的解耦分层潜在表征。它能够从2D图像端到端训练，实现单图像3D检索，并通过从学习到的潜在流形采样生成逼真的3D物体，在泛化能力方面优于当前最先进方法。

ABSTRACT

We propose the Variational Shape Learner (VSL), a generative model that learns the underlying structure of voxelized 3D shapes in an unsupervised fashion. Through the use of skip-connections, our model can successfully learn and infer a latent, hierarchical representation of objects. Furthermore, realistic 3D objects can be easily generated by sampling the VSL's latent probabilistic manifold. We show that our generative model can be trained end-to-end from 2D images to perform single image 3D model retrieval. Experiments show, both quantitatively and qualitatively, the improved generalization of our proposed model over a range of tasks, performing better or comparable to various state-of-the-art alternatives.

研究动机与目标

• 在无需3D监督的情况下，学习3D体素化形状的解耦分层潜在表征。
• 实现从2D图像到3D形状检索的端到端训练，减少对3D标注的依赖。
• 通过从学习到的概率潜在流形采样，生成逼真的3D物体。
• 在3D形状重建和检索任务中，提升现有生成模型的泛化能力。

提出的方法

• 该模型采用带有跳跃连接的分层变分自编码器（VAE），以稳定训练并在多级抽象层次上提升特征学习。
• 其采用分层潜在空间，每一层捕捉从粗粒度到细粒度形状组件的不同结构细节。
• 通过引入跳跃连接，保留空间信息并促进端到端训练中的梯度流动。
• 模型使用2D图像作为输入进行端到端训练，利用可微分渲染过程监督3D形状生成。
• VAE框架支持对潜在空间的概率建模，从而通过采样实现多样化且逼真的3D形状生成。
• 该架构设计支持无监督预训练以及针对单图像3D检索的微调。

实验结果

研究问题

• RQ1 带有跳跃连接的分层VAE能否在无监督条件下学习到有意义且解耦的3D体素化形状表征？
• RQ2 仅从2D图像训练的模型在3D形状检索与重建任务中的泛化能力达到何种程度？
• RQ3 与平坦潜在空间相比，分层潜在结构如何提升生成质量和解耦程度？
• RQ4 跳跃连接的使用是否增强了3D形状生成中的训练稳定性和性能？
• RQ5 所提出的模型在3D形状生成与检索任务中的性能与当前最先进方法相比如何？

主要发现

• 与当前最先进基线相比，VSL模型在3D形状重建和检索任务中实现了更优的泛化能力。
• 分层潜在空间实现了更好的形状组件解耦，从而带来更具可解释性和可控性的生成结果。
• 从学习到的潜在流形采样可生成逼真且多样的3D形状，证明了模型的生成能力。
• 该模型成功实现了从2D图像到3D形状检索的端到端训练，展现出强大的零样本泛化能力。
• 实验表明，跳跃连接显著提升了3D形状生成中的训练稳定性和最终性能。