[论文解读] ADOP: Approximate Differentiable One-Pixel Point Rendering

Darius Rückert, Linus Franke+1 more|arXiv (Cornell University)|Oct 13, 2021

Advanced Vision and Imaging参考文献 81被引用 22

一句话总结

ADOP 引入了一种可微分的、基于单像素点的神经渲染流水线，通过联合优化结构参数（相机位姿、点位置、镜头畸变）和光度参数（曝光、白平衡、相机响应函数），实现了实时、高保真度的新视角合成。通过使用梯度近似对单像素点投影进行反向传播，它实现了对输入不一致性的逆向渲染校正，即使在包含超过 10000 万个点且输入曝光不一致的场景下，也能实现 30 FPS 的实时性能（在消费级 GPU 上）。

ABSTRACT

In this paper we present ADOP, a novel point-based, differentiable neural rendering pipeline. Like other neural renderers, our system takes as input calibrated camera images and a proxy geometry of the scene, in our case a point cloud. To generate a novel view, the point cloud is rasterized with learned feature vectors as colors and a deep neural network fills the remaining holes and shades each output pixel. The rasterizer renders points as one-pixel splats, which makes it very fast and allows us to compute gradients with respect to all relevant input parameters efficiently. Furthermore, our pipeline contains a fully differentiable physically-based photometric camera model, including exposure, white balance, and a camera response function. Following the idea of inverse rendering, we use our renderer to refine its input in order to reduce inconsistencies and optimize the quality of its output. In particular, we can optimize structural parameters like the camera pose, lens distortions, point positions and features, and a neural environment map, but also photometric parameters like camera response function, vignetting, and per-image exposure and white balance. Because our pipeline includes photometric parameters, e.g.~exposure and camera response function, our system can smoothly handle input images with varying exposure and white balance, and generates high-dynamic range output. We show that due to the improved input, we can achieve high render quality, also for difficult input, e.g. with imperfect camera calibrations, inaccurate proxy geometry, or varying exposure. As a result, a simpler and thus faster deep neural network is sufficient for reconstruction. In combination with the fast point rasterization, ADOP achieves real-time rendering rates even for models with well over 100M points. https://github.com/darglein/ADOP

研究动机与目标

• 解决输入图像中的不一致性问题，例如曝光差异、相机校准错误以及代理几何不完善，这些都会降低新视角合成的质量。
• 开发一种完全可微分的基于点的渲染器，支持对结构参数和光度参数的联合优化。
• 即使在包含超过 10000 万个点的复杂场景下，也能实现在标准硬件上的实时渲染（30 FPS）。
• 通过自优化提升输入一致性，减少对复杂神经网络的依赖。
• 通过可微分的光度建模，支持高动态范围（HDR）输出和灵活的色调映射。

提出的方法

• 该方法采用一种单像素点投影光栅化器，通过近似空间梯度来处理不可微分的点渲染，从而实现对点位置和相机参数的反向传播。
• 一个深度神经网络从通过学习到的特征向量对点云进行光栅化生成的多分辨率稀疏特征图中重建最终图像。
• 系统集成了一个完全可微分的光度相机模型，包括曝光、白平衡、相机响应函数和暗角效应。
• 通过优化输入参数（如相机位姿、点位置、曝光等）来最小化渲染误差，应用逆向渲染以提升输入一致性。
• 该流水线在统一的可微分框架中支持神经网络权重、特征向量以及结构/光度参数的端到端优化。
• 通过高效的基于点的光栅化和网络压缩技术加速渲染，实现在消费级 GPU 上的实时推理。

实验结果

研究问题

• RQ1 可微分的基于点的渲染器是否能够联合优化结构参数和光度参数，从而提升新视角合成的质量？
• RQ2 通过单像素点投影实现的梯度近似，在使不可微分的渲染操作支持反向传播方面有多有效？
• RQ3 在可微分流水线中，通过逆向渲染能在多大程度上纠正输入不一致性（例如曝光差异、相机校准错误）？
• RQ4 对于包含超过 10000 万个点的复杂场景，是否能使用轻量级神经网络实现实时渲染（30 FPS）？
• RQ5 系统是否能在不依赖曝光设置先验知识的情况下，生成 HDR 输出并支持灵活的色调映射？

主要发现

• ADOP 即使在包含超过 10000 万个点的场景下，也能在标准 GPU 硬件上实现 30 FPS 的实时渲染。
• 通过优化每幅图像的曝光和白平衡，系统有效减少了由输入不一致引起的渲染伪影，如因曝光差异导致的亮度斑块。
• 通过优化输入参数，ADOP 允许使用更简单、更快的神经网络，同时保持高渲染质量。
• 学习到的特征编码了高动态范围的场景纹理，使得在推理阶段能够灵活进行色调映射，包括使用胶片色调映射实现更自然的视觉效果。
• 该方法成功处理了曝光差异高达 8.7 EV（约 427 倍）的输入图像，在训练期间校正曝光时避免了斑驳伪影。
• 当相机过于靠近物体或点云稀疏时，会出现闪烁和孔洞伪影，表明在极端视角条件下，其孔洞填充能力存在局限。