[论文解读] Learning Descriptor Networks for 3D Shape Synthesis and Analysis

Jianwen Xie, Zilong Zheng+4 more|arXiv (Cornell University)|Apr 2, 2018

Optical measurement and interference techniquesComputer Science被引用 18

一句话总结

本文提出了一种3D DescriptorNet，这是一种深度卷积能量基模型，通过一种“分析-合成”训练方案学习体素形状模式。该方法通过MCMC采样实现逼真的3D形状生成，支持对象恢复/超分辨率的条件生成，并通过MCMC教学实现稳定的3D生成器训练，在ModelNet10上使用无监督特征实现了92.4%的SOTA准确率。

ABSTRACT

This paper proposes a 3D shape descriptor network, which is a deep convolutional energy-based model, for modeling volumetric shape patterns. The maximum likelihood training of the model follows an "analysis by synthesis" scheme and can be interpreted as a mode seeking and mode shifting process. The model can synthesize 3D shape patterns by sampling from the probability distribution via MCMC such as Langevin dynamics. The model can be used to train a 3D generator network via MCMC teaching. The conditional version of the 3D shape descriptor net can be used for 3D object recovery and 3D object super-resolution. Experiments demonstrate that the proposed model can generate realistic 3D shape patterns and can be useful for 3D shape analysis.

研究动机与目标

• 开发一种概率性、能量基的3D形状数据模型，能够捕捉复杂体素模式，而无需对抗性或推理网络。
• 通过从学习到的概率分布进行MCMC采样，实现出色的3D形状生成。
• 通过在高分辨率形状上建模条件分布，支持3D对象恢复和超分辨率的条件生成。
• 通过MCMC教学提供一种稳定、协作的3D生成器训练框架，避免模式崩溃。
• 提取对3D物体分类有用的语义有意义的无监督特征。

提出的方法

• 该模型是一种深度卷积能量基网络，通过自底向上的3D卷积神经网络提取分层特征，定义3D体素网格上的概率密度函数。
• 训练采用“分析-合成”方案，被解释为一种模式寻找与模式转移过程，避免使用变分推理或对抗性判别器。
• 通过使用Langevin动力学MCMC从学习到的分布中采样，实现3D形状合成。
• 训练条件3D DescriptorNet以将损坏或低分辨率的3D输入映射到高质量输出，从而实现对象恢复和超分辨率。
• 通过MCMC教学训练3D生成器，其中DescriptorNet通过提供目标能量函数来引导生成器，确保训练稳定且无模式崩溃。
• 将DescriptorNet提取的无监督特征图作为输入，用于逻辑回归分类器进行3D物体分类。

实验结果

研究问题

• RQ1 深度卷积能量基模型能否在无需对抗性或推理网络的情况下，有效学习并表示复杂的3D体素形状模式？
• RQ2 所提出的模型能否通过MCMC采样生成逼真的3D形状，且生成的形状是否表现出平滑的结构过渡？
• RQ3 该模型的条件版本能否有效从低质量或不完整的输入中实现3D对象恢复和超分辨率？
• RQ4 MCMC教学框架能否在无模式崩溃的情况下稳定训练3D生成器，且生成器是否能学习到有意义的语义结构？
• RQ5 由DescriptorNet提取的无监督特征能否在3D物体分类任务中实现高性能？

主要发现

• 3D DescriptorNet仅使用无监督预训练和逻辑回归头，在ModelNet10数据集上实现了92.4%的分类准确率，优于先前方法（包括3D-GAN的91.0%）。
• 通过MCMC教学训练的3D生成器的潜在空间插值，可在3D形状之间产生平滑且物理上合理的过渡。
• 该模型支持潜在空间中的形状运算，可实现语义操控（如形状混合与插值），并产生有意义的视觉结果。
• 条件3D DescriptorNet成功从低分辨率或损坏的输入中恢复并超分辨率化3D对象，展示了其在重建任务中的实用性。
• MCMC教学框架实现了无模式崩溃的稳定3D生成器训练，且生成器学习到了平滑且语义有意义的潜在流形。
• 从DescriptorNet提取的无监督特征具有高度判别性，在3D物体分类任务中实现了SOTA性能，且仅需极少微调。