[论文解读] SDFDiff: Differentiable Rendering of Signed Distance Fields for 3D Shape Optimization

Yue Jiang, Dantong Ji+2 more|arXiv (Cornell University)|Dec 15, 2019

3D Shape Modeling and Analysis参考文献 54被引用 11

一句话总结

SDFDiff 引入了一种基于射线投射有符号距离场（SDF）的可微分渲染器，用于3D形状优化，实现了高保真度、拓扑灵活且封闭的重建。通过结合基于SDF的可微分渲染与深度学习，以及多分辨率优化策略，该方法在多视角和单视角3D重建任务中取得了最先进性能。

ABSTRACT

We propose SDFDiff, a novel approach for image-based shape optimization using differentiable rendering of 3D shapes represented by signed distance functions (SDFs). Compared to other representations, SDFs have the advantage that they can represent shapes with arbitrary topology, and that they guarantee watertight surfaces. We apply our approach to the problem of multi-view 3D reconstruction, where we achieve high reconstruction quality and can capture complex topology of 3D objects. In addition, we employ a multi-resolution strategy to obtain a robust optimization algorithm. We further demonstrate that our SDF-based differentiable renderer can be integrated with deep learning models, which opens up options for learning approaches on 3D objects without 3D supervision. In particular, we apply our method to single-view 3D reconstruction and achieve state-of-the-art results.

研究动机与目标

• 开发一种可微分渲染器，以实现基于有符号距离场（SDF）表示的3D形状的基于梯度的优化。
• 通过利用SDF能够表示任意拓扑和封闭表面的能力，克服网格和点云表示的局限性。
• 通过将基于SDF的可微分渲染与深度学习相结合，实现在无3D监督条件下从图像进行高质量3D重建。
• 通过采用多分辨率策略提高优化的鲁棒性，避免陷入局部极小值。

提出的方法

• 该方法使用球体追踪进行SDF的射线投射，仅将局部着色计算设为可微分，以提升计算效率。
• 在SDF损失中应用窄带技术，将其限制在零水平集附近区域，以避免奇点和离散化伪影。
• 损失函数结合图像损失、正则化损失和几何损失，加权形式为 𝒪 = 𝒪_img + 𝒪 ⊗ (λ₁𝒪_reg + λ₂𝒪_geo)，其中 λ₁ = λ₂ = 0.02。
• 采用多分辨率策略以稳定优化过程，并提升向高质量解的收敛性。
• 该框架可与深度学习流水线集成，支持无监督单视角3D重建的端到端训练。
• 采用三阶段训练流程：首先训练编码器-解码器，然后通过精炼网络进行优化，最后联合微调所有组件。

实验结果

研究问题

• RQ1 基于SDF的可微分渲染能否在任意拓扑下，实现从多视角图像进行鲁棒且高质量的3D形状优化？
• RQ2 与基于网格或点云的替代方法相比，基于SDF的可微分渲染在重建保真度和拓扑灵活性方面表现如何？
• RQ3 SDFDiff能否有效集成到深度学习模型中，实现在无3D监督条件下的无监督单视角3D重建？
• RQ4 多分辨率优化在提升SDF基形状优化的收敛性并避免局部极小值方面起到何种作用？

主要发现

• SDFDiff 在单视角3D重建的13个类别中均取得了最先进性能的3D IoU分数，在大多数情况下超越了先前方法。
• 该方法成功重建了复杂拓扑结构，例如具有复杂腿部结构的椅子，而标准的基于网格的方法（如SoftRasterizer）由于拓扑固定而无法捕捉此类结构。
• 多分辨率策略即使在输入视角较少的情况下，也能实现对高质量解的鲁棒收敛，显著提升优化稳定性。
• 窄带SDF损失有效缓解了中轴线处的离散化问题和奇点，提升了几何精度。
• 将基于SDF的可微分渲染与深度学习相结合，实现了高保真度、连续且封闭的表面的无监督3D重建。
• 在多视角重建中，该方法优于基于点的可微分渲染器，展现出更强的鲁棒性和更优的细节恢复能力。