[論文レビュー] Gaussian Opacity Fields: Efficient Adaptive Surface Reconstruction in Unbounded Scenes

Zehao Yu, Torsten Sattler+1 more|arXiv (Cornell University)|Apr 16, 2024

Computer Graphics and Visualization Techniques被引用数 7

ひとこと要約

GOF は 3D ガウシアンからガウシアン不透明度場を導出し、レベルセットによる直接的な表面抽出を可能にし、高品質でコンパクトなメッシュを実現し、無限広がるシーンでの高速再構成を実現します。多くの 3DGS ベースの手法を上回り、ニューラル暗黙表現アプローチと互角に渡り合います。

ABSTRACT

Recently, 3D Gaussian Splatting (3DGS) has demonstrated impressive novel view synthesis results, while allowing the rendering of high-resolution images in real-time. However, leveraging 3D Gaussians for surface reconstruction poses significant challenges due to the explicit and disconnected nature of 3D Gaussians. In this work, we present Gaussian Opacity Fields (GOF), a novel approach for efficient, high-quality, and adaptive surface reconstruction in unbounded scenes. Our GOF is derived from ray-tracing-based volume rendering of 3D Gaussians, enabling direct geometry extraction from 3D Gaussians by identifying its levelset, without resorting to Poisson reconstruction or TSDF fusion as in previous work. We approximate the surface normal of Gaussians as the normal of the ray-Gaussian intersection plane, enabling the application of regularization that significantly enhances geometry. Furthermore, we develop an efficient geometry extraction method utilizing Marching Tetrahedra, where the tetrahedral grids are induced from 3D Gaussians and thus adapt to the scene's complexity. Our evaluations reveal that GOF surpasses existing 3DGS-based methods in surface reconstruction and novel view synthesis. Further, it compares favorably to or even outperforms, neural implicit methods in both quality and speed.

研究の動機と目的

• 無限に広がるシーンにおける多視点画像からの効率的で高品質な表面再構成を動機づける。
• 3D ガウシアンから直接表面を抽出するために Poisson も TSDF フュージョンも用いない Gaussian Opacity Fields を導入する。
• 幾何学的忠実度を改善するための正則化手法を取り入れる。
• アダプティブな四面体グリッドに基づくメッシュ抽出法を開発し、コンパクトなメッシュを生成する。
• 難易度の高いデータセットに対して、GOF の性能を 3DGS ベースおよびニューラル暗黙法と比較して示す。

提案手法

• 不透明度、中心、スケール、回転を有する 3D ガウシアン原始体の集合としてシーンを表現する。
• 光線とガウシアンの明示的な交差を計算して、各光線に沿った1D ガウシアンを体積レンダリングのために得る。
• 各3D点について、全トレーニングビューの中で最小の光線不透明度をとって Gaussian Opacity Field を定義する。
• 正則化を可能にするため、ガウシアン表面法線を ray–Gaussian 交点平面の法線で近似する。
• 学習中に深度歪みおよび深度-法線整合性損失で正則化する。
• ガウシアンの周りの3-シグマ境界ボックスから生成された四面体グリッドを用いて表面を抽出し、その後 binary-search ベースのレベルセット識別を用いて marching tetrahedra を行う。

実験結果

リサーチクエスチョン

• RQ1 GOF は Poisson 再構成や TSDF フュージョンを用いずに 3D ガウシアンから直接かつ信頼性の高い表面抽出を実現できるか。
• RQ2 2D Gaussian Splatting から 3D ガウシアンへ正則化をどう適用して幾何忠実度を向上させられるか。
• RQ3 四面体ベースのメッシュ抽出手法は、無限のシーンに適したコンパクトで詳細なメッシュを提供しつつ、最適化を高速に保てるか。
• RQ4 標準データセットでの表面再構成および新規視点合成における GOF の性能は、3DGS ベース手法およびニューラル暗黙モデルと比較してどうか。

主な発見

• GOF は Gaussian opacity field のレベルセットを同定することで直接表面抽出を可能にし、Poisson/TSDF フュージョンを回避する。
• 最新手法と比較して、GOF は 3DGS ベースの表面再構成を上回り、品質はニューラル暗黙法と同等または上回りつつ、最適化はより高速。
• 4面体グリッドのメッシュ抽出と binary-search レベルセットは、背景領域を含むコンパクトで詳細なメッシュを生み、無限シーンで TSDF ベースのメッシュ抽出より優れる。
• ray–Gaussian 交点平面による法線正則化は幾何忠実度を高め、難しい照明下での再構成性能を向上させる。
• outdoor scenes で 3DGS ベース手法と比較して競争力のある PSNR/SSIM を示し、LPIPS が改善され、NVS 性能が高い。