[论文解读] Differentiable Rendering with Perturbed Optimizers

Quentin Le Lidec, Ivan Laptev+2 more|arXiv (Cornell University)|Oct 18, 2021

Advanced Vision and Imaging参考文献 29被引用 8

一句话总结

本文提出了一种可微分的扰动渲染器，利用随机平滑技术使非可微的渲染操作（如光栅化和Z缓冲）变得平滑且可微。通过将这些操作建模为优化问题，并应用扰动优化器，该方法提供的梯度比平滑近似更准确，在6D姿态估计和自监督3D网格重建任务中实现了最先进性能，且具有更高的稳定性和效率。

ABSTRACT

Reasoning about 3D scenes from their 2D image projections is one of the core problems in computer vision. Solutions to this inverse and ill-posed problem typically involve a search for models that best explain observed image data. Notably, images depend both on the properties of observed scenes and on the process of image formation. Hence, if optimization techniques should be used to explain images, it is crucial to design differentiable functions for the projection of 3D scenes into images, also known as differentiable rendering. Previous approaches to differentiable rendering typically replace non-differentiable operations by smooth approximations, impacting the subsequent 3D estimation. In this paper, we take a more general approach and study differentiable renderers through the prism of randomized optimization and the related notion of perturbed optimizers. In particular, our work highlights the link between some well-known differentiable renderer formulations and randomly smoothed optimizers, and introduces differentiable perturbed renderers. We also propose a variance reduction mechanism to alleviate the computational burden inherent to perturbed optimizers and introduce an adaptive scheme to automatically adjust the smoothing parameters of the rendering process. We apply our method to 3D scene reconstruction and demonstrate its advantages on the tasks of 6D pose estimation and 3D mesh reconstruction. By providing informative gradients that can be used as a strong supervisory signal, we demonstrate the benefits of perturbed renderers to obtain more accurate solutions when compared to the state-of-the-art alternatives using smooth gradient approximations.

研究动机与目标

• 解决3D场景重建中常用的关键渲染操作（如光栅化和深度聚合）的不可微性问题。
• 通过将非光滑操作与扰动优化器关联，建立一个理论基础坚实、通用性强的可微分渲染框架。
• 通过控制变量技术减少扰动渲染中的梯度方差，提升训练效率与稳定性。
• 提出一种自适应平滑方案，基于优化过程中对扰动的敏感性分析动态调整扰动参数。
• 在3D重建与6D姿态估计任务中，证明扰动渲染器优于现有平滑梯度近似方法。

提出的方法

• 将光栅化与聚合操作建模为优化问题，其中输出为在可行集上对线性函数取最大值的解。
• 通过在目标函数中引入随机扰动，利用扰动优化器实现非光滑操作的可微性。
• 采用控制变量技术减少随机扰动梯度估计中的方差，从而实现更锐利、更可靠的参数更新。
• 提出一种自适应方案，根据渲染器输出对扰动的敏感性分析动态调整平滑参数。
• 将扰动渲染器集成到基于神经网络的自监督学习流水线中，用于3D网格重建，损失函数包括轮廓、RGB和拉普拉斯正则化项。
• 使用标准优化器（Adam），并在内存受限时支持切换至确定性近似方法（如SoftRas）以进行大批次微调。

实验结果

研究问题

• RQ1 能否通过一种原理性强、可泛化的框架，使非可微的渲染操作（如光栅化和Z缓冲）变得可微？
• RQ2 与现有平滑梯度近似方法相比，基于扰动优化器的随机平滑方法在梯度质量与优化性能方面表现如何？
• RQ3 方差减少技术是否能提升在扰动可微渲染中的梯度估计稳定性与效率？
• RQ4 自适应平滑策略是否能提升3D重建与姿态估计过程中的收敛性与鲁棒性？
• RQ5 所提出的扰动渲染器是否在自监督3D网格重建与6D姿态估计任务中优于最先进可微分渲染器？

主要发现

• 在ShapeNet数据集上，所提出的扰动渲染器在自监督3D网格重建任务中实现了61.0%的平均3D IoU，优于SoftRas（58.6%）与DIB-R（59.9%）。
• 在6D姿态估计基准测试中，该方法的精度高于采用平滑梯度近似的最先进方法。
• 该方法表现出优异的稳定性，多个随机种子下的标准差极低（例如，平均IoU的±0.11），表明其鲁棒性良好。
• 自适应平滑方案能有效平衡梯度质量与计算开销，即使在弱扰动条件下也能实现可靠的优化。
• 图7的定性结果表明，该方法能从单张图像生成高质量、彩色化的3D网格重建结果，体现出强大的视觉监督能力。
• 该方法具有高度灵活性，可仅通过少量修改集成到现有渲染流水线中，且能泛化先前方法（如SoftRas）的思路。