[论文解读] MeshSDF: Differentiable Iso-Surface Extraction

Edoardo Remelli, Artem Lukoianov+5 more|arXiv (Cornell University)|Jun 6, 2020

3D Shape Modeling and AnalysisEngineering参考文献 55被引用 22

一句话总结

MeshSDF 提出了一种可微分的等值面提取方法，实现了从深度符号距离函数（SDF）到显式网格表示的端到端反向传播，克服了传统算法（如 Marching Cubes）的不可微性。通过推导表面采样点相对于隐式场的闭式梯度，MeshSDF 实现了拓扑可变、高分辨率的网格优化，在单视角重建和气动外形设计等任务中，其精度与效率均优于当前最先进方法。

ABSTRACT

Geometric Deep Learning has recently made striking progress with the advent of continuous Deep Implicit Fields. They allow for detailed modeling of watertight surfaces of arbitrary topology while not relying on a 3D Euclidean grid, resulting in a learnable parameterization that is not limited in resolution. Unfortunately, these methods are often not suitable for applications that require an explicit mesh-based surface representation because converting an implicit field to such a representation relies on the Marching Cubes algorithm, which cannot be differentiated with respect to the underlying implicit field. In this work, we remove this limitation and introduce a differentiable way to produce explicit surface mesh representations from Deep Signed Distance Functions. Our key insight is that by reasoning on how implicit field perturbations impact local surface geometry, one can ultimately differentiate the 3D location of surface samples with respect to the underlying deep implicit field. We exploit this to define MeshSDF, an end-to-end differentiable mesh representation which can vary its topology. We use two different applications to validate our theoretical insight: Single-View Reconstruction via Differentiable Rendering and Physically-Driven Shape Optimization. In both cases our differentiable parameterization gives us an edge over state-of-the-art algorithms.

研究动机与目标

• 解决 Marching Cubes 在将深度隐式场转换为显式网格表示时的不可微性问题。
• 在保持拓扑灵活性与高分辨率的前提下，实现对显式表面网格的端到端可微优化。
• 展示可微分网格参数化在需要显式几何表示的应用中的实用性，例如可微渲染与基于 CFD 的外形优化。
• 为表面采样点相对于底层隐式场提供理论坚实、闭式的梯度表达，且独立于提取算法。
• 通过结合 SDF 的表达能力与基于网格表示的兼容性，实现复杂物理模拟与视觉任务中稳健高效的优化。

提出的方法

• 推导出三维表面采样点相对于底层深度 SDF 的闭式解析梯度表达式，使反向传播能够穿过网格提取过程。
• 使用非可微的等值面提取方法（如 Marching Cubes）生成网格，随后通过推导的梯度公式应用自定义反向传播路径。
• 采用可微分的光栅化流水线，以支持单视角重建中的可微渲染与基于轮廓的优化。
• 引入基于最近邻潜在码的潜在空间正则化损失，以稳定优化并提升形状空间中的泛化能力。
• 在物理驱动优化中（如 CFD 模拟中最小化压差阻力）将 MeshSDF 参数化作为正则化项使用。
• 使用 Adam 优化器进行优化，超参数在各类任务中均经过调优以确保收敛性与鲁棒性。

实验结果

研究问题

• RQ1 我们能否对深度 SDF 的等值面提取过程进行反向传播，从而生成可微分的网格表示？
• RQ2 表面采样点相对于隐式场的闭式梯度是否能实现对任意拓扑网格的端到端优化？
• RQ3 在结合可微渲染的单视角 3D 重建中，MeshSDF 是否能超越非可微分的基于网格的方法？
• RQ4 MeshSDF 是否可作为物理驱动外形优化（如气动阻力最小化）中的有效正则化项？
• RQ5 在效率与精度方面，MeshSDF 的可微性相较于其他可微渲染或隐式场方法表现如何？

主要发现

• 在单视角重建中，MeshSDF 的轮廓 L2 距离达到 0.004625，优于 Liu et al. (2020) 的 0.005973（在相似设置下）。
• 网络查询次数从 898k（球面追踪）减少至 266k，函数评估次数降低 76%。
• 每帧渲染耗时 0.29 秒，相比 Liu et al. 的 1.24 秒提速 77%，得益于三角形的并行光栅化。
• 在基于 CFD 的气动外形优化中，MeshSDF 有效优化了汽车外形以最小化压差阻力，证明了其在物理驱动设计中的实用性。
• 该方法在优化过程中支持拓扑变化，不同于固定拓扑的替代方法，且在不同初始形状下表现出鲁棒性。
• 采用 k=10 和 α=0.2 的潜在空间正则化可提升优化稳定性与结果真实性，但潜在空间中的局部极小值问题仍具挑战。