[论文解读] DeepMesh: Differentiable Iso-Surface Extraction

Benoît Guillard, Edoardo Remelli+5 more|arXiv (Cornell University)|Jun 20, 2021

3D Shape Modeling and Analysis被引用 6

一句话总结

DeepMesh 提出了一种端到端可微的方法，从深度隐式场中提取显式的三维表面网格，通过等值面提取实现基于梯度的优化。通过推导表面采样点相对于隐式场的闭式导数，该方法克服了 Marching Cubes 方法的不可微性，从而支持可微渲染和具有任意拓扑结构与无限分辨率的形状优化等应用。

ABSTRACT

Geometric Deep Learning has recently made striking progress with the advent of continuous deep implicit fields. They allow for detailed modeling of watertight surfaces of arbitrary topology while not relying on a 3D Euclidean grid, resulting in a learnable parameterization that is unlimited in resolution. Unfortunately, these methods are often unsuitable for applications that require an explicit mesh-based surface representation because converting an implicit field to such a representation relies on the Marching Cubes algorithm, which cannot be differentiated with respect to the underlying implicit field. In this work, we remove this limitation and introduce a differentiable way to produce explicit surface mesh representations from Deep Implicit Fields. Our key insight is that by reasoning on how implicit field perturbations impact local surface geometry, one can ultimately differentiate the 3D location of surface samples with respect to the underlying deep implicit field. We exploit this to define DeepMesh - an end-to-end differentiable mesh representation that can vary its topology. We validate our theoretical insight through several applications: Single view 3D Reconstruction via Differentiable Rendering, Physically-Driven Shape Optimization, Full Scene 3D Reconstruction from Scans and End-to-End Training. In all cases our end-to-end differentiable parameterization gives us an edge over state-of-the-art algorithms.

研究动机与目标

• 解决将标准等值面提取方法（如 Marching Cubes）应用于深度隐式场时的不可微性问题。
• 实现从连续隐式函数导出的显式网格表示的端到端可微优化。
• 支持需要显式表面几何结构的应用，如计算流体动力学模拟、基于物理的渲染和形状优化，同时保持隐式场的分辨率和拓扑灵活性。
• 将可微网格提取从符号距离函数扩展到一般隐式函数，包括占据场。
• 证明可微网格提取在下游任务中相比不可微或仅隐式基线方法具有更优性能。

提出的方法

• 使用多元微积分推导表面采样点相对于底层隐式场的闭式导数表达式，且不依赖于等值面提取算法。
• 使用不可微的等值面提取方法（如 Marching Cubes）生成网格，然后通过推导出的解析导数反向传播表面采样点的梯度。
• 采用粗到精的等值面提取策略以减少计算开销，实现在高分辨率网格上的高效训练。
• 将可微网格提取集成到端到端学习流程中，如可微渲染和 Chamfer 距离优化。
• 通过避免固定网格或固定拓扑结构的限制，支持任意网格拓扑和无限分辨率。
• 将该方法应用于符号距离函数和占据场，从而扩展其在隐式表示类型上的适用范围。

实验结果

研究问题

• RQ1 我们能否在保持拓扑灵活性和无限分辨率的前提下，实现从深度隐式场中端到端可微的等值面提取？
• RQ2 即使等值面提取算法本身不可微，我们能否对隐式场扰动下表面采样点实现解析微分？
• RQ3 可微网格提取是否能提升需要显式表面表示的任务（如 3D 重建和形状优化）的性能？
• RQ4 该方法能否扩展到符号距离函数之外的一般隐式函数，如占据场？
• RQ5 与直接监督隐式场值相比，可微网格提取的计算开销如何？

主要发现

• 通过最小化 Chamfer 距离和隐式场损失，DeepMesh 显著提升了 3D 重建质量，尤其在具有细长结构的灯类复杂形状上表现更优。
• 与不可微基线方法相比，DeepMesh 在 ShapeNet 灯类数据集上的 Chamfer 距离误差降低了高达 30%，表明表面对齐效果更优。
• 通过优化等值面提取策略，DeepMesh 在 V100 GPU 上的前向传播仅需 29ms，将开销从原始的 785ms 降低至可接受水平。
• DeepMesh 的反向传播速度略快于直接监督隐式场值，因为梯度仅通过表面点反向传播，而非整个体素体积。
• DeepMesh 成功实现了单视角 3D 重建和气动形状优化的端到端训练，优于依赖不可微网格提取的最先进方法。
• 该方法支持任意网格拓扑，不受固定网格或网格结构的限制，可在优化过程中实现动态拓扑变化。