[论文解读] Learning Shape Abstractions by Assembling Volumetric Primitives

Shubham Tulsiani, Hao Su+3 more|arXiv (Cornell University)|Dec 1, 2016

3D Shape Modeling and Analysis被引用 10

一句话总结

本文提出了一种无监督深度学习框架，通过组装刚性变换的长方体作为体素基元来学习重建3D形状。通过在3D形状数据集上进行训练，该模型发现了具有一致性且可解释的基于部件的抽象，从而实现一致的解析、形状相似性度量、基于图像的抽象以及形状操作——展示了在3D形状集合中通过数据驱动方式发现结构先验的能力。

ABSTRACT

We present a learning framework for abstracting complex shapes by learning to assemble objects using 3D volumetric primitives. In addition to generating simple and geometrically interpretable explanations of 3D objects, our framework also allows us to automatically discover and exploit consistent structure in the data. We demonstrate that using our method allows predicting shape representations which can be leveraged for obtaining a consistent parsing across the instances of a shape collection and constructing an interpretable shape similarity measure. We also examine applications for image-based prediction as well as shape manipulation.

研究动机与目标

• 通过数据驱动方法而非手工设计的先验，发现一致且可解释的3D形状抽象。
• 通过学习共享的基元组合，实现在整个形状类别中对形状部件的一致性解析。
• 基于基元参数而非原始几何形状，构建可解释的形状相似性度量。
• 通过将基于体积的预测蒸馏到CNN中，实现从2D图像预测基元布局，从而支持基于图像的形状抽象。
• 通过变形基元并利用每个基元坐标系中的局部坐标将变化传播到网格，实现形状操作。

提出的方法

• 训练一个深度卷积神经网络（CNN），从其体素占据网格中预测一组刚性变换的长方体（基元），以重建3D形状。
• 通过可微分的渲染与优化过程，联合推断整个形状数据集中的基元参数（位置、方向、尺度）。
• 通过可微分的分配模块学习基元分配，将网格顶点映射到3D空间中最近的基元。
• 使用对比损失鼓励在相似形状间使用一致的基元，促进结构对齐。
• 通过知识蒸馏训练基于图像的预测头，以模仿基于体积的模型，从而支持2D图像输入的推理。
• 通过变换基元参数并利用每个基元坐标系中的局部坐标重新投影网格顶点，实现形状操作。

实验结果

研究问题

• RQ1 深度学习模型是否仅使用体素基元且无需人工标注部件，就能发现一致且可解释的3D形状抽象？
• RQ2 所学习的基于基元的表示是否能支持在形状类别中对形状部件的一致性解析？
• RQ3 基于基元的表示是否能提供比标准几何度量更具可解释性和可控性的形状相似性度量？
• RQ4 该模型是否能泛化到基于图像的输入，实现在无监督条件下从2D到3D的抽象？
• RQ5 基于基元的抽象是否可用于引导有意义且直观的形状操作？

主要发现

• 该模型成功仅使用长方体重建了复杂的3D形状，在椅子和动物等形状类别中实现了稳定的部件级解析。
• 基于学习的基元嵌入的t-SNE可视化显示，按子类别（如沙发、扶手椅）自然聚类，其捕捉语义相似性的能力优于基于体素IoU的度量。
• 通过聚焦特定基元（如椅子的座垫和靠背）的距离度量，模型生成的嵌入能反映特定应用场景下的相似性，例如将带或不带扶手的椅子分组。
• 当仅测量特定部件（如靠背倾斜角）的方向差异时，模型在嵌入空间中学习到一条1D流形，证实了其可解释性与可控性。
• 通过知识蒸馏实现基于图像的抽象，使模型能够从单张2D图像准确预测基元布局，如定性结果所示。
• 通过基元形变实现的形状操作可产生合理且结构感知的网格形变，通过将局部顶点坐标映射到基元坐标系，实现平滑的变换传播。