[论文解读] Flexible Techniques for Differentiable Rendering with 3D Gaussians

Leonid Keselman, Martial Hebert|arXiv (Cornell University)|Aug 28, 2023

Advanced Vision and Imaging被引用 12

一句话总结

该论文通过增加鲁棒化简、逐像素可微光流、通过泊松表面重建导出网格，以及3D高斯方法之间的互操作性，扩展了带可微渲染的3D高斯形状重建的速度与灵活性。

ABSTRACT

Fast, reliable shape reconstruction is an essential ingredient in many computer vision applications. Neural Radiance Fields demonstrated that photorealistic novel view synthesis is within reach, but was gated by performance requirements for fast reconstruction of real scenes and objects. Several recent approaches have built on alternative shape representations, in particular, 3D Gaussians. We develop extensions to these renderers, such as integrating differentiable optical flow, exporting watertight meshes and rendering per-ray normals. Additionally, we show how two of the recent methods are interoperable with each other. These reconstructions are quick, robust, and easily performed on GPU or CPU. For code and visual examples, see https://leonidk.github.io/fmb-plus

研究动机与目标

• 推进基于3D高斯的快速可微渲染以实现无数据集偏差的形状重建。
• 引入简化的参数化以消除超参数并提高鲁棒性。
• 引入逐像素可微光流以对重建进行正则化。
• 提供从基于高斯的形状导出密闭网格的可靠路径。
• 演示模糊表球与3D高斯散点实现之间的互操作性。

提出的方法

• 给出一个简化的两参数高斯渲染模型，以从模糊表球中移除某些超参数（第3.2节）。
• 提供一个零参数、无超参数的α混合变体，该变体可微且不需要排序（第3.3节）。
• 从可微渲染器计算逐射线光流并将其用作光流损失以改善形状估计（第5节）。
• 通过对从高斯原始体渲染的定向点云进行泊松表面重建，导出密闭网格（第6节）。
• 通过在Fuzzy Metaballs与3D Gaussian Splatting表示之间转换输出来演示互操作性（第7节）。
• 提出一种确定性高斯分裂方案，以在优化期间重新参数化混合物以实现稳定改进（第8节）。

(a) Fuzzy Metaballs [ 34 ] raytraced dozens of Gaussians, used random initialization, and estimated geometry and pose for objects.

实验结果

研究问题

• RQ1 如何以最小超参数实现可微渲染的3D高斯表示以实现鲁棒的形状重建？
• RQ2 逐像素光流是否能提高基于3D高斯的重建的准确性与稳定性？
• RQ3 是否可通过泊松表面重建从高斯隐式曲面导出密闭网格？
• RQ4 模糊表球与3D高斯散点实现是否可互操作，以实现跨方法渲染和导出？
• RQ5 是否能够通过确定性分裂在优化过程中自适应重参数化高斯数目以提高细节？

主要发现

实验	深度误差	运行时间（s）
无颜色或无流	0.271	17
颜色	0.262	15
颜色与经典光流 [13]	0.237	14
颜色与学习光流 [70]	0.155	15

• 简化的两参数渲染模型在保持重建质量的同时移除了若干先前的超参数。
• 一个无超参数的α混合变体提供了与参数化方法相当结果的替代渲染路径。
• 引入逐像素光流可提高3D形状重建的准确性并产生更平滑的深度图，尽管颜色保真度可能略有下降。
• 通过对从高斯原始体渲染的定向点云进行泊松表面重建，可以生成密闭网格。
• Fuzzy Metaballs与3D Gaussian Splatting表示具有互操作性，能够实现跨方法渲染和网格导出。
• 确定性高斯分裂策略允许在优化过程中逐步细化形状细节。

(b) 3D Gaussian Splatting [ 33 ] splatted millions of Gaussians, used SfM [ 61 ] initialization, and synthesized novel views for scenes.