[论文解读] Differentiable Rendering: A Survey

Hiroharu Kato, Deniz Beker+5 more|arXiv (Cornell University)|Jun 22, 2020

3D Shape Modeling and Analysis参考文献 149被引用 120

一句话总结

本文对可微渲染（DR）方法在网格、体素、点云和神经隐式表示中的综合综述进行了全面梳理，包括神经渲染、应用、评估和待解决的问题。

ABSTRACT

Deep neural networks (DNNs) have shown remarkable performance improvements on vision-related tasks such as object detection or image segmentation. Despite their success, they generally lack the understanding of 3D objects which form the image, as it is not always possible to collect 3D information about the scene or to easily annotate it. Differentiable rendering is a novel field which allows the gradients of 3D objects to be calculated and propagated through images. It also reduces the requirement of 3D data collection and annotation, while enabling higher success rate in various applications. This paper reviews existing literature and discusses the current state of differentiable rendering, its applications and open research problems.

研究动机与目标

• 将可微渲染作为连接二维图像证据与三维场景理解的桥梁的动机。
• 总结在不同数据表示及其机制下的可微渲染方法现状。
• 讨论可微渲染的评估指标、库以及实际考虑因素。
• 识别应用场景和待解决的开放研究问题，以指导未来工作。

提出的方法

• 按底层数据表示对可微渲染算法进行分类：网格、体素、点云和隐式函数。
• 描述解析梯度与近似梯度技术，包括全局光照方法。
• 讨论神经渲染作为手工设计的可微渲染器的学习替代方案。
• 回顾支持研究与实现的评估方法学和 DR 库。
• 概述每种表示的优点、局限性与计算考虑。
• 讨论可微渲染中的开放问题与未来方向。

实验结果

研究问题

• RQ1 对于每种几何表示（网格、体素、点云、隐式），有哪些主要的可微渲染方法及其微分策略？
• RQ2 评估方法学与指标如何应用于可微渲染方法，以及实际局限性是什么？
• RQ3 可微渲渲染当前推动的应用有哪些，实时或嵌入式使用还存在哪些挑战？
• RQ4 对于可微渲染与神经渲染整合，提出了哪些开放问题与未来方向？

主要发现

• 基于网格的 DR 包含解析导数、近似梯度和全局光照技术。
• 基于体素的 DR 依赖占用/TSDF 表示和具可微聚合的光线行进。
• 点云 DR 处理影响权重与遮挡，并有用于深度与颜色形成的多种策略。
• 神经隐式表示通过光线采样与可微渲染实现表面与占用建模。
• 神经渲染作为数据驱动的替代方案浮现，可能提升真实感，但面临泛化与控制挑战。
• 该领域没有单一统一的可微渲染框架，实际使用需仔细考虑计算与库。