[论文解读] Learning Manifold Patch-Based Representations of Man-Made Shapes

Dmitriy Smirnov, Mikhail Bessmeltsev+1 more|arXiv (Cornell University)|Jun 28, 2019

3D Shape Modeling and Analysis参考文献 78被引用 5

一句话总结

本文提出一种自监督深度学习框架，通过学习由Coons曲面片组成的可变形参数化模板来表示人造3D形状，从而实现从2D草图生成高质量、可编辑的3D重建。通过引入几何感知损失函数以强制实现流形拓扑并避免自相交，该方法生成稀疏、分辨率无关且兼容CAD的表面表示，能够泛化至自然草图，在重建质量和可编辑性方面优于现有方法。

ABSTRACT

Choosing the right representation for geometry is crucial for making 3D models compatible with existing applications. Focusing on piecewise-smooth man-made shapes, we propose a new representation that is usable in conventional CAD modeling pipelines and can also be learned by deep neural networks. We demonstrate its benefits by applying it to the task of sketch-based modeling. Given a raster image, our system infers a set of parametric surfaces that realize the input in 3D. To capture piecewise smooth geometry, we learn a special shape representation: a deformable parametric template composed of Coons patches. Naively training such a system, however, is hampered by non-manifold artifacts in the parametric shapes and by a lack of data. To address this, we introduce loss functions that bias the network to output non-self-intersecting shapes and implement them as part of a fully self-supervised system, automatically generating both shape templates and synthetic training data. We develop a testbed for sketch-based modeling, demonstrate shape interpolation, and provide comparison to related work.

研究动机与目标

• 开发一种既具有几何可解释性又兼容传统CAD工作流程的3D形状表示方法，同时可通过深度神经网络进行学习。
• 解决从不完整、模糊的2D草图重建完整、高质量的人造3D形状的挑战，尤其是在训练数据稀缺的情况下。
• 克服在学习到的参数化曲面片表示中出现的拓扑伪影，如自相交和非流形表面。
• 在无需成对的草图-模型数据集的情况下，实现从合成数据到自然草图的泛化。
• 通过算法生成具有可变部件数量的可变形模板，支持形状类别内的结构可变性。

提出的方法

• 该方法使用由控制点定义的可变形参数化模板（由Coons曲面片组成），以稀疏、分辨率无关且可编辑的方式表示人造3D形状。
• 提出新颖的基于几何的损失函数，直接作用于3D表面，以惩罚自相交和非流形配置，确保拓扑正确性。
• 采用完全自监督的训练流程，通过受艺术绘画多样性启发的增强策略生成合成草图数据，无需依赖标注的草图-3D模型配对数据。
• 系统通过深度神经网络从2D位图草图预测曲面片的控制点，将输入图像映射为一组参数化表面参数。
• 通过生成具有可变曲面片数量的类别特定可变形模板，建模形状类别内的结构可变性，从而实现复杂形状的模块化表示。
• 利用法向量和曲率的闭式几何表达式，通过可微分的几何监督提升重建保真度。

实验结果

研究问题

• RQ1 深度学习模型能否在无需成对训练数据的情况下，从不完整2D草图生成高质量、拓扑正确的3D参数化表面表示？
• RQ2 如何设计几何感知损失函数，以在学习到的基于曲面片的表面表示中强制实现流形拓扑并防止自相交？
• RQ3 基于艺术草图变异的自监督数据生成流程，在多大程度上能生成真实感强且能泛化至自然草图的训练数据？
• RQ4 与密集表示（如体素网格、点云、网格）相比，基于曲面片的参数化表示在可编辑性、分辨率独立性和重建质量方面表现如何？
• RQ5 具有可变结构配置的可变形参数化模板能否在保持泛化性和鲁棒性的前提下，支持多样化的形状类别？

主要发现

• 所提方法在保持高几何保真度的前提下，仅使用少于1,000个自由度（球形模板为816个自由度）生成3D重建，相比基于网格的替代方案显著降低了复杂度。
• 尽管仅在合成数据上进行训练，该模型仍能有效泛化至自然草图，表现出对绘图噪声和不一致性具有鲁棒性。
• 几何感知损失函数成功防止了自相交和非流形伪影，生成无需后处理的密封、拓扑一致的表面输出。
• 与AtlasNet相比，该方法避免了曲面片之间的交叠和孔洞，生成了更清晰、更可靠的表面表示，且参数化维度更低。
• 在可编辑性和可解释性方面，该系统优于Pixel2Mesh及其他基于网格的方法，因为其输出可通过控制点直接与CAD工具兼容。
• 在基准草图上，该方法在重建质量方面表现更优，尤其在处理具有锐边特征和分段光滑几何的形状时，这些形状在基于CSG或体素的基线方法中表现不佳。