[论文解读] Fast Differentiable Raycasting for Neural Rendering using Sphere-based Representations

Christoph Lassner|arXiv (Cornell University)|Apr 16, 2020

Computer Graphics and Visualization Techniques被引用 4

一句话总结

该论文提出 pulsar，一种快速可微分的光线投射算法，通过用球体云替代传统的网格表示，实现高效、与拓扑无关的渲染与优化。借助 PyTorch 集成，其渲染速度提升数个数量级，支持对包含数百万个球体的场景实现实时优化，并为所有场景参数（包括位置、半径、颜色、不透明度及相机设置）提供梯度。

ABSTRACT

Differentiable rendering in combination with deep learning promises great advantages: deep learning models can produce realistic scenes rapidly, while differentiable rendering offers consistent scene representations and respective gradients. However, gradient based optimization of classical mesh representations is cumbersome because of the explicit topology encoding. Moreover, complex scenes may need detailed geometric representation, requiring many geometric primitives and a fast rendering operation. We propose to break up the rendering process into multiple parts: (1) the scene representation, (2) a differentiable geometry projection and (3) neural shading. While mature, off-the-shelf models for scene representation and neural shading are widely available, we propose pulsar as a general purpose differentiable geometry engine tightly integrated with PyTorch. By replacing mesh representations with sphere clouds for the scene representation, the operation is fast compared to existing differentiable renderers and avoids problems with surface topology. It provides gradients for the full scene parameterization, i.e., sphere positions, colors, radiuses, opacity and the camera parameters. pulsar can execute many times, up to orders of magnitudes faster than existing renderers and allows real-time rendering and optimization of scenes with millions of spheres. It can be used for 3D reconstruction, rendering and volumetric scene optimization.

研究动机与目标

• 解决深度学习流水线中基于网格的可微分渲染存在的计算低效与拓扑复杂性问题。
• 实现实时优化包含数百万个几何基元的复杂 3D 场景。
• 提供一个通用的可微分几何引擎，支持所有参数的完整梯度，包括球体属性与相机参数。
• 用计算更轻量、与拓扑无关的球体云表示替代计算开销大的基于网格的渲染。

提出的方法

• 该方法用球体云表示替代显式的网格拓扑，其中每个球体由位置、半径、颜色、不透明度定义，且具备可微分性。
• 将渲染过程分解为三个阶段：通过球体云表示场景、可微分几何投影、神经着色。
• 几何投影阶段通过解析解快速执行光线-球体相交测试，实现 GPU 加速计算。
• 所有操作均在 PyTorch 中实现，支持对所有场景参数与相机设置的自动微分。
• 系统支持分层与稀疏球体表示，以提升大规模场景下的性能。
• 渲染器设计为模块化且可组合，可无缝集成至现有的神经着色与优化框架。

实验结果

研究问题

• RQ1 基于球体云的可微分光线投射器在速度与可扩展性方面是否优于基于网格的渲染器？
• RQ2 如球体云这类与拓扑无关的几何表示是否能在复杂场景中实现稳定且高效的梯度计算？
• RQ3 基于球体的渲染在多大程度上可实现对包含数百万个基元的场景的实时优化？
• RQ4 将球体云几何与神经着色结合，如何提升端到端训练效率？

主要发现

• pulsar 的渲染速度比现有可微分渲染器快数个数量级，支持对包含数百万个球体的场景实现实时优化。
• 使用球体云消除了拓扑复杂性，避免了与网格连接性及表面表示相关的问题。
• 为所有场景参数（包括球体位置、半径、颜色、不透明度及相机参数）提供完整梯度，支持端到端优化。
• 通过解析解实现高效、可微分的光线-球体相交计算，显著降低计算开销。
• 与 PyTorch 的集成使得其可无缝用于深度学习流水线，支持 3D 重建、神经渲染与体积优化。