[论文解读] 3D-PRNN: Generating Shape Primitives with Recurrent Neural Networks

Chuhang Zou, Ersin Yumer+3 more|arXiv (Cornell University)|Aug 4, 2017

Image Processing and 3D Reconstruction参考文献 5被引用 22

一句话总结

3D-PRNN 是一种循环神经网络，通过预测参数化长方体基元序列，从单张深度图像生成 3D 形状，利用 LSTM 和混合密度网络实现上下文感知生成。其性能与基于体素的生成模型相当，同时参数空间显著减少，展现出在合成与真实世界深度数据上的高重建精度和结构一致性。

ABSTRACT

The success of various applications including robotics, digital content creation, and visualization demand a structured and abstract representation of the 3D world from limited sensor data. Inspired by the nature of human perception of 3D shapes as a collection of simple parts, we explore such an abstract shape representation based on primitives. Given a single depth image of an object, we present 3D-PRNN, a generative recurrent neural network that synthesizes multiple plausible shapes composed of a set of primitives. Our generative model encodes symmetry characteristics of common man-made objects, preserves long-range structural coherence, and describes objects of varying complexity with a compact representation. We also propose a method based on Gaussian Fields to generate a large scale dataset of primitive-based shape representations to train our network. We evaluate our approach on a wide range of examples and show that it outperforms nearest-neighbor based shape retrieval methods and is on-par with voxel-based generative models while using a significantly reduced parameter space.

研究动机与目标

• 开发一种基于参数化基元（长方体）的紧凑、可解释的 3D 形状表示，以提升机器人学与计算机图形学中的推理能力。
• 解决在有限真实标注数据下，为基于基元的形状合成训练深度生成模型的挑战。
• 通过基于序列的生成方法，实现在部分观测（如单张深度图像）下的形状重建与补全。
• 构建大规模、弱监督的基于基元的形状表示数据集以供训练。
• 证明基于基元的表示可在远少于参数的情况下，实现与高自由度体素基模型相当的性能。

提出的方法

• 基于长短期记忆（LSTM）网络的循环生成器处理深度特征，并基于先前预测，按顺序预测 3D 基元（长方体）集合。
• 在每个时间步使用混合密度网络（MDN）对可能的基元配置分布进行建模，实现多样化且上下文敏感的生成。
• 基于高斯场与能量最小化的无监督优化流程，将基元组件拟合到 3D 网格上，生成无需人工标注的弱监督训练数据。
• 通过最小化形状 IoU 和表面间距离，端到端训练模型，以从部分深度输入重建完整形状。
• 将对称性与旋转轴约束编码进网络，以提升结构一致性和泛化能力。
• 在真实世界 NYU Depth V2 数据集上进行微调，使模型能够适应噪声大、遮挡多及分辨率低的深度观测。

实验结果

研究问题

• RQ1 循环神经网络能否有效从单张深度图像生成 3D 形状的参数化基元序列？
• RQ2 与基于体素的生成模型相比，基于基元的表示在重建精度与参数效率方面表现如何？
• RQ3 基于能量最小化与高斯场的无监督方法能否生成高质量、可扩展的基于基元的形状表示训练数据？
• RQ4 引入对称性与旋转轴等结构先验是否能提升生成形状的质量与一致性？
• RQ5 在合成数据上预训练的模型能否在标注有限的真实世界深度数据上实现良好泛化？

主要发现

• 在 ModelNet 合成基准测试中，3D-PRNN 的平均形状 IoU 达到 0.245，优于最近邻基线（0.269），并达到最先进的体素基方法（Wu et al., 0.253）的水平，尽管参数量更少。
• 在 NYU Depth V2 真实世界数据集上，微调后 3D-PRNN 的平均形状 IoU 达到 0.138，显著优于最近邻基线（0.145），且对噪声与遮挡表现出鲁棒性。
• 引入旋转轴约束后，性能有所提升：在合成数据上，平均 IoU 从 0.245 提升至 0.238，表面距离从 0.074 降低至 0.074（部分类别略有改善）。
• 基于高斯场与 L-BFGS 优化的无监督基元拟合方法成功生成了高质量的基于基元的真实标签，支持大规模弱监督训练。
• 3D-PRNN 在罕见或遮挡类别（如夜壶）上表现出强泛化能力，尽管由于训练数据有限与视觉模糊性，性能略有下降。
• 通过利用基于部件、以物体为中心的基元结构，该模型实现了有意义的形状分割，在部件级重建上优于基线方法。