[论文解读] DualSDF: Semantic Shape Manipulation using a Two-Level Representation

Zekun Hao, Hadar Averbuch‐Elor+2 more|arXiv (Cornell University)|Apr 6, 2020

3D Shape Modeling and Analysis参考文献 36被引用 6

一句话总结

DualSDF 提出了一种两级 3D 形状表示方法，结合了粗粒度的、具有语义意义的基于原始体的形状与高分辨率的符号距离场（SDF）模型，通过共享的变分潜在空间紧密耦合。这使得用户能够直观、交互式地进行形状编辑，对原始体的修改可即时反映到细节几何结构中，同时保持语义一致性。

ABSTRACT

We are seeing a Cambrian explosion of 3D shape representations for use in machine learning. Some representations seek high expressive power in capturing high-resolution detail. Other approaches seek to represent shapes as compositions of simple parts, which are intuitive for people to understand and easy to edit and manipulate. However, it is difficult to achieve both fidelity and interpretability in the same representation. We propose DualSDF, a representation expressing shapes at two levels of granularity, one capturing fine details and the other representing an abstracted proxy shape using simple and semantically consistent shape primitives. To achieve a tight coupling between the two representations, we use a variational objective over a shared latent space. Our two-level model gives rise to a new shape manipulation technique in which a user can interactively manipulate the coarse proxy shape and see the changes instantly mirrored in the high-resolution shape. Moreover, our model actively augments and guides the manipulation towards producing semantically meaningful shapes, making complex manipulations possible with minimal user input.

研究动机与目标

• 解决在 3D 形状表示中同时实现高几何保真度与可解释性的挑战。
• 弥合 3D 形状建模中高分辨率细节与语义性、基于部件的理解之间的差距。
• 通过粗粒度代理表示实现直观、交互式的形状编辑，驱动细粒度几何结构的变化。
• 通过紧密耦合粗粒度与细粒度表示，确保编辑过程中形状一致性和语义意义的保持。
• 开发统一框架，利用变分自编码解码器与 SDF 支持 3D 形状的生成、编辑与插值。

提出的方法

• 使用两级表示：粗粒度代理由简单几何原始体（如球体、胶囊体）组成，并采用 SDF 表达式。
• 利用深度神经网络从共享潜在码中预测 SDF 值，以建模高分辨率几何结构。
• 使用变分自编码解码器（VAD）学习一个共享潜在空间，使得单个码向量可解码为粗粒度与细粒度表示。
• 通过变分目标强制表示之间的耦合，以正则化潜在空间，支持插值、优化与生成。
• 通过优化实现交互式编辑：用户编辑原始体属性（如位置、半径），潜在码随之更新以反映这些变化，同时保持在合理形状流形上。
• 利用 SDF 作为两级的统一基础，支持高效渲染、可微操作与一致的几何表示。

实验结果

研究问题

• RQ1 两级 3D 形状表示能否同时实现高几何保真度与语义可解释性？
• RQ2 如何有效且语义一致地将粗粒度形状编辑传播到高分辨率几何结构？
• RQ3 共享的变分潜在空间在多大程度上能确保不同形状间粗粒度与细粒度表示的紧密耦合？
• RQ4 在原始体空间中基于优化的编辑能否导致高分辨率输出中真实且语义一致的变化？
• RQ5 如何对学习得到的原始体的语义一致性进行定量测量与验证，以覆盖形状集合？

主要发现

• 通过变分自编码解码学习到的共享潜在空间，相比标准自编码器或自编码解码器，能实现更紧密的粗粒度与细粒度表示耦合。
• 用户可通过编辑原始体属性（如半径、位置）交互式地操作粗粒度代理形状，变化会即时反映在高分辨率 SDF 上，并保持语义一致性。
• 该模型在形状间实现了高语义一致性：例如，在椅子类别中，椅子腿始终被一致地标记为“腿”，85.7% 的原始体与最高标签一致，94.3% 与前三名标签一致。
• 该方法可通过直接优化原始体属性实现可控插值，支持选择性修改（如仅调整椅子高度），同时保持其他形状属性不变。
• 两级表示支持使用快速粗粒度模型实现实时形状空间遍历，高分辨率渲染可按需生成。
• 新提出的度量标准——跨表示一致性与基于原始体的语义一致性——表明两种表示之间高度一致，且原始体在多样化形状中保持一致的语义角色。