[论文解读] Learning elementary structures for 3D shape generation and matching

Théo Deprelle, Thibault Groueix+4 more|arXiv (Cornell University)|Aug 13, 2019

3D Shape Modeling and Analysis参考文献 30被引用 15

一句话总结

本文提出从形状集合中学习可变形、可重用的3D基本结构，以提升3D形状生成与匹配性能。通过两种方法——补丁变形学习与点位移学习——自动发现可解释的、重复出现的部件（如翅膀、尾巴），其性能优于手工设计的基元，在FAUST数据集上，重建性能较AtlasNet提升16%，对应匹配准确率较3D-CODED提升6%。

ABSTRACT

We propose to represent shapes as the deformation and combination of learnable elementary 3D structures, which are primitives resulting from training over a collection of shape. We demonstrate that the learned elementary 3D structures lead to clear improvements in 3D shape generation and matching. More precisely, we present two complementary approaches for learning elementary structures: (i) patch deformation learning and (ii) point translation learning. Both approaches can be extended to abstract structures of higher dimensions for improved results. We evaluate our method on two tasks: reconstructing ShapeNet objects and estimating dense correspondences between human scans (FAUST inter challenge). We show 16% improvement over surface deformation approaches for shape reconstruction and outperform FAUST inter challenge state of the art by 6%.

研究动机与目标

• 发现一套一致的、数据驱动的3D基元，适用于多样化形状，避免依赖手工设计的模板。
• 通过从形状集合中学习共享的可变形结构，提升3D形状重建与密集对应估计性能。
• 通过学习结构的线性或神经网络变换，实现形状与姿态的解耦表示。
• 通过学习既可解释又可微分的结构，统一形状抽象与深度表面变形。

提出的方法

• 利用补丁变形学习：使用多层感知机（MLP）将初始2D或3D表面（如平面或球体）变形为学习到的基本结构。
• 采用点位移学习：优化固定点集的位置以重建目标形状，实现拓扑灵活性。
• 应用共享结构方法：所有形状均使用相同的已学习基本结构，确保一致性。
• 采用深层架构，结合结构学习与变形或位移，支持端到端训练，损失函数包含重建损失与对应损失。
• 通过将模板投影或嵌入更高维空间（如10维），支持更高维的基本结构，提升重建保真度。
• 在推理阶段，使用线性或MLP-based变换调整结构的姿态与位置，实现可解释且灵活的形状生成。

实验结果

研究问题

• RQ1 能否在无显式部件标注的情况下，从形状集合中自动学习到一组一致且可重用的3D基本结构？
• RQ2 数据驱动的、学习到的基本结构是否在3D形状重建与对应匹配方面优于手工设计的基元？
• RQ3 在表面连续性、拓扑灵活性与性能方面，补丁变形与点位移学习两种学习范式有何差异？
• RQ4 学习到的结构能否被解耦为形状与姿态分量，从而实现可解释的形状操作？
• RQ5 使用更高维的基本结构是否能提升重建与对应匹配的准确性？

主要发现

• 在通用物体重建任务（SURREAL数据集）中，该方法相较AtlasNet实现16%的相对重建精度提升，Chamfer损失为1.11，优于AtlasNet的1.33。
• 在人体形状对应匹配的FAUST基准上，该方法较3D-CODED提升6%，对应误差为2.76，优于3D-CODED的2.96。
• 学习到的基本结构对应可解释的部件，如飞机中的机翼、尾翼与引擎罩，表明结构发现具有实际意义。
• 点位移学习在重建性能上表现最佳（Chamfer损失1.11），而变形学习在对应匹配上更优（误差2.76），凸显表面连续性与匹配精度之间的权衡。
• 更高维的基本结构（如10维）可提升重建性能，SURREAL数据集上的Chamfer损失降至1.01，表明该方法具备良好的可扩展性。
• 学习到的结构在不同形状间保持一致性，且在噪声与孔洞存在的情况下仍能良好泛化，FAUST数据集上的实验已验证此特性。