[論文レビュー] Flexible Techniques for Differentiable Rendering with 3D Gaussians

Leonid Keselman, Martial Hebert|arXiv (Cornell University)|Aug 28, 2023

Advanced Vision and Imaging被引用数 12

ひとこと要約

本論文は、3D ガウシアンを用いた微分可能レンダリングを頑健な単純化、ピクセル単位の微分可能光フロー、Poisson 表面再構築によるメッシュエクスポート、そして3D ガウシアン手法間の相互運用性を追加することで拡張し、CPU/GPU上で高速かつ柔軟な形状再構成を実現する。

ABSTRACT

Fast, reliable shape reconstruction is an essential ingredient in many computer vision applications. Neural Radiance Fields demonstrated that photorealistic novel view synthesis is within reach, but was gated by performance requirements for fast reconstruction of real scenes and objects. Several recent approaches have built on alternative shape representations, in particular, 3D Gaussians. We develop extensions to these renderers, such as integrating differentiable optical flow, exporting watertight meshes and rendering per-ray normals. Additionally, we show how two of the recent methods are interoperable with each other. These reconstructions are quick, robust, and easily performed on GPU or CPU. For code and visual examples, see https://leonidk.github.io/fmb-plus

研究の動機と目的

• データセットバイアスのない形状再構成のための、3Dガウシアンの高速で微分可能なレンダリングを進展させる。
• ハイパーパラメータを排除し頑健性を高めるための簡略化パラメータ化を導入する。
• 再構成を正則化するためにピクセル単位の微分可能光フローを組み込む。
• ガウシアンベースの形状から水密なメッシュをエクスポートする信頼性の高い経路を提供する。
• Fuzzy Metaballsと3D Gaussian Splatting実装間の相互運用性を示す。

提案手法

• Fuzzy Metaballs の一部のハイパーパラメータを除去する、ガウシアンレンダリングの簡略化された2パラメータモデルを提示する（セクション 3.2）。
• ソートを必要とせず、微分可能でハイパーパラメータのないアルファ合成の0パラメータ版を提供する（セクション 3.3）。
• 微分可能レンダラーからのレイ毎の光フローを計算し、それをフロー損失として形状推定を改善する（セクション 5）。
• Gaussianプリミティブからレンダリングされた向き付き点群に対してPoisson表面再構築を解くことで水密メッシュをエクスポートする（セクション 6）。
• Fuzzy Metaballs と 3D Gaussian Splatting 表現間の出力を変換することで相互運用性を示す（セクション 7）。
• 最適化中の混合物を再パラメータ化するための決定論的ガウシアン分割スキームを提案する（セクション 8）。

(a) Fuzzy Metaballs [ 34 ] raytraced dozens of Gaussians, used random initialization, and estimated geometry and pose for objects.

実験結果

リサーチクエスチョン

• RQ1 最小限のハイパーパラメータで頑健な形状再構成を実現するために、3Dガウシアンベースの表現をどのように微分可能にレンダリングできるか？
• RQ2 ピクセル単位の光フローは3Dガウシアンベースの再構成の精度と安定性を向上させるか？
• RQ3 Poisson表面再構築を用いて、ガウシアンベースの暗黙表面から水密メッシュをエクスポートすることは可能か？
• RQ4 Fuzzy Metaballsと3D Gaussian Splattingは相互運用可能で、手法間のレンダリングとエクスポートを可能にするか？
• RQ5 最適化中のディテールを改善するために、ガウシアンの数を決定論的な分割によって適応的に再パラメータ化できるか？

主な発見

実験	深度誤差	実行時間（s）
No Color or Flow	0.271	17
Color	0.262	15
Color & Classic Flow [13]	0.237	14
Color & Learned Flow [70]	0.155	15

• 簡略化された2パラメータのレンダリングモデルは、再構成品質を維持しつつ以前のハイパーパラメータの多くを削減する。
• ハイパーパラメータなしのアルファ合成バリアントは、パラメータ化手法と同等の結果を提供する代替レンダリング経路を提供する。
• ピクセル単位の光フローを組み込むと3D形状再構成の精度が向上し、深度マップが滑らかになる一方で色再現性はわずかに低下する可能性がある。
• Gaussianプリミティブからレンダリングされた向き付き点群からPoisson表面再構築により水密メッシュを生成できる。
• Fuzzy Metaballsと3D Gaussian Splattingの表現は相互運用可能で、クロス手法レンダリングとメッシュエクスポートを可能にする。
• 決定論的なガウシアン分割戦略により、最適化中の形状ディテールを段階的に洗練させることができる。

(b) 3D Gaussian Splatting [ 33 ] splatted millions of Gaussians, used SfM [ 61 ] initialization, and synthesized novel views for scenes.