[论文解读] Learning a Hierarchical Latent-Variable Model of 3D Shapes

Shikun Liu, C. Lee Giles+1 more|arXiv (Cornell University)|May 17, 2017

3D Shape Modeling and Analysis参考文献 47被引用 3

一句话总结

该论文提出了变分形状学习器（VSL），一种具有跳跃连接的分层变分自编码器，能够以无监督方式学习3D体素形状的解耦、多层级潜在表征。通过在潜在空间中强制实现结构化层次，VSL 实现了高保真度的3D生成、从单张图像进行的更优形状重建，以及有效的形状算术运算，在无监督分类和3D重建任务中优于当前最先进模型，且参数量显著更少。

ABSTRACT

We propose the Variational Shape Learner (VSL), a generative model that learns the underlying structure of voxelized 3D shapes in an unsupervised fashion. Through the use of skip-connections, our model can successfully learn and infer a latent, hierarchical representation of objects. Furthermore, realistic 3D objects can be easily generated by sampling the VSL's latent probabilistic manifold. We show that our generative model can be trained end-to-end from 2D images to perform single image 3D model retrieval. Experiments show, both quantitatively and qualitatively, the improved generalization of our proposed model over a range of tasks, performing better or comparable to various state-of-the-art alternatives.

研究动机与目标

• 为了解决现有3D形状生成模型中平坦的单层潜在表征所带来的局限性，这些局限性限制了模型的表达能力与泛化性能。
• 学习一种分层的、解耦的3D形状潜在表征，以捕捉从边缘到复杂结构的多层级抽象。
• 实现在无需依赖人工标注的关键点、分割或姿态信息情况下的完全无监督3D形状生成与重建。
• 在无监督3D形状分类和单图像3D重建任务中，相比当前最先进模型，实现更优的性能表现。
• 通过形状算术和有意义的插值，展示所学潜在空间的实用性。

提出的方法

• 该模型采用深层变分自编码器架构，并在编码器与解码器层之间引入跳跃连接，以在潜在空间中强制实现分层抽象。
• 每一层潜在变量被约束为建模一个特定层次的抽象，高层通过条件生成控制低层特征。
• 模型通过变分推断进行端到端训练，采用近似推断，最小化数据对数似然的变分下界。
• 通过网络架构设计隐式地施加分层先验，避免了复杂结构化先验或额外正则化的需求。
• 模型在2D图像和体素化3D形状上进行联合训练，实现在无姿态或关键点监督情况下的单图像3D重建。
• 直接在分层潜在码上执行潜在空间操作（如向量算术），以生成新颖且语义上合理的3D形状。

实验结果

研究问题

• RQ1 分层潜在变量模型是否能够学习到比平坦潜在模型更具表现力和解耦性的3D形状表征？
• RQ2 在变分自编码器中，跳跃连接是否能有效在潜在空间中强制实现用于3D形状生成的结构化层次？
• RQ3 所提出的模型是否在不使用人工标注监督的情况下，实现了无监督3D形状分类的最先进性能？
• RQ4 该模型是否能在存在遮挡和光照变化的情况下，从单张2D图像中高保真地重建3D形状？
• RQ5 在所学的分层潜在空间中进行的向量运算是否能产生语义上合理且逼真的3D形状插值？

主要发现

• VSL 在无监督3D形状分类任务中优于当前最先进模型，在 ModelNet40 上达到 92.4% 的准确率，潜在码维度小于 100，而 3D-GAN 的参数量高达 250 万维度。
• 在 PASCAL 3D 的单图像3D重建任务中，独立训练的 VSL 在10个类别中的8个类别上超越了 3D-R2N2 ResNet 模型，平均 IoU 达到 0.619，优于 3D-R2N2 的 0.571。
• 在独立训练设置下，VSL 对 'aero' 类的 IoU 达到 0.631，'bike' 类达到 0.657，显著优于 3D-R2N2 LSTM 变体（分别为 0.472 和 0.330）。
• t-SNE 潜在空间可视化显示，在 ModelNet10 和 ModelNet40 上均呈现清晰的类别分离，表明潜在空间具备有效的解耦与聚类能力。
• 形状算术实验生成了合理且直观的3D形状组合（如 'car + airplane' 生成类似飞行载具的物体），表明潜在空间中存在有意义的语义结构。
• 模型通过从所学的分层潜在流形中采样，即可生成逼真的3D形状，无需与真实形状匹配或进行后处理。