[论文解读] DRWR: A Differentiable Renderer without Rendering for Unsupervised 3D Structure Learning from Silhouette Images

Zhizhong Han, Chao Chen+2 more|arXiv (Cornell University)|Jul 12, 2020

Advanced Vision and Imaging参考文献 55被引用 22

一句话总结

DRWR 提出了一种无需渲染的可微分渲染器，用于从轮廓图像进行无监督 3D 点云重建，通过平滑轮廓损失将 3D 点投影拉入前景，并通过结构感知排斥损失防止点聚集。该方法通过消除逐像素插值、可见性处理和着色，实现了显著更快的训练速度，同时保持了最先进的精度。

ABSTRACT

Differentiable renderers have been used successfully for unsupervised 3D structure learning from 2D images because they can bridge the gap between 3D and 2D. To optimize 3D shape parameters, current renderers rely on pixel-wise losses between rendered images of 3D reconstructions and ground truth images from corresponding viewpoints. Hence they require interpolation of the recovered 3D structure at each pixel, visibility handling, and optionally evaluating a shading model. In contrast, here we propose a Differentiable Renderer Without Rendering (DRWR) that omits these steps. DRWR only relies on a simple but effective loss that evaluates how well the projections of reconstructed 3D point clouds cover the ground truth object silhouette. Specifically, DRWR employs a smooth silhouette loss to pull the projection of each individual 3D point inside the object silhouette, and a structure-aware repulsion loss to push each pair of projections that fall inside the silhouette far away from each other. Although we omit surface interpolation, visibility handling, and shading, our results demonstrate that DRWR achieves state-of-the-art accuracies under widely used benchmarks, outperforming previous methods both qualitatively and quantitatively. In addition, our training times are significantly lower due to the simplicity of DRWR.

研究动机与目标

• 为解决可微分渲染器在 3D 结构学习中渲染带来的高计算成本问题。
• 探究逐像素插值、可见性处理和着色是否对从轮廓图像进行准确 3D 重建至关重要。
• 开发一种轻量级、可微分的渲染器，绕过渲染过程，同时保持或提升重建质量。
• 仅使用 2D 轮廓监督，实现高效且鲁棒的 3D 点云重建训练。

提出的方法

• DRWR 用基于投影的损失替代传统逐像素损失，该损失直接作用于 3D 点在 2D 上的投影。
• 采用平滑轮廓损失，在 3D 点投影进入前景前提供非零梯度，缓解局部极小值问题。
• 采用结构感知排斥损失，仅当两点投影均位于轮廓内部时，才自适应地将它们推开，从而改善覆盖范围和分布。
• 该方法避免了表面插值、可见性处理（如 z 缓冲）和着色，消除了渲染开销。
• 损失函数结合了单变量和成对组件：单变量损失将点拉入轮廓区域，成对损失在前景内强制点之间的空间分散。
• 通过反向传播进行端到端优化，损失的可微分特性使得 3D 点云参数能够基于梯度进行学习。

实验结果

研究问题

• RQ1 是否可以通过仅依赖 3D 点在 2D 上的投影，而无需渲染，实现 3D 结构学习？
• RQ2 若去除逐像素插值、可见性处理和着色，是否会导致重建精度下降或提升？
• RQ3 平滑轮廓损失是否能有效解决基于轮廓的 3D 重建中的局部极小值问题？
• RQ4 投影点之间的结构感知排斥如何改善形状覆盖范围和泛化能力？
• RQ5 在移除渲染流水线后，训练效率与重建精度之间的权衡如何？

主要发现

• DRWR 在标准基准上实现了最先进性能，在从轮廓图像重建 3D 点云方面，无论是定量还是定性指标均优于先前方法。
• 消融实验表明，若移除平滑轮廓损失或结构感知排斥损失，性能会显著下降，证实了二者的重要性。
• DRWR 的训练速度比 DPC（一种先前的最先进点基可微分渲染器）快达 2 倍，16,000 个点、128² 分辨率的重建训练时间从约 72 小时减少至约 36 小时。
• DRWR 在真实图像上泛化良好，无需微调即可从互联网获取的轮廓图像生成高保真重建结果。
• 潜在空间插值表明，DRWR 学习到了一个有意义且连续的潜在空间，支持在学习到的形状之间实现平滑的形状插值。
• 具有结构感知的损失函数减少了平滑轮廓损失与排斥损失之间的冲突，从而实现更快收敛和更低的训练损失。