[論文レビュー] DN-Splatter: Depth and Normal Priors for Gaussian Splatting and Meshing

Matias Turkulainen, Xuqian Ren+4 more|arXiv (Cornell University)|Mar 26, 2024

Industrial Vision Systems and Defect Detection被引用数 5

ひとこと要約

DN-Splatter は depth と monocular normal priors を用いて 3D Gaussian splatting を拡張し、室内シーンの再構成を改善し、より良い novel-view synthesis と直接的なメッシュ抽出を可能にする。

ABSTRACT

High-fidelity 3D reconstruction of common indoor scenes is crucial for VR and AR applications. 3D Gaussian splatting, a novel differentiable rendering technique, has achieved state-of-the-art novel view synthesis results with high rendering speeds and relatively low training times. However, its performance on scenes commonly seen in indoor datasets is poor due to the lack of geometric constraints during optimization. In this work, we explore the use of readily accessible geometric cues to enhance Gaussian splatting optimization in challenging, ill-posed, and textureless scenes. We extend 3D Gaussian splatting with depth and normal cues to tackle challenging indoor datasets and showcase techniques for efficient mesh extraction. Specifically, we regularize the optimization procedure with depth information, enforce local smoothness of nearby Gaussians, and use off-the-shelf monocular networks to achieve better alignment with the true scene geometry. We propose an adaptive depth loss based on the gradient of color images, improving depth estimation and novel view synthesis results over various baselines. Our simple yet effective regularization technique enables direct mesh extraction from the Gaussian representation, yielding more physically accurate reconstructions of indoor scenes.

研究の動機と目的

• Gaussian splatting による高忠実度の室内 3D 再構成を動機付ける。
• 深度ヒントを用いた Gaussian 最適化の正則化によりアーティファクトを低減する。
• monocular normal priors を活用して Gaussians を真のジオメトリに合わせる。
• テクスチャレス領域を頑健に扱うエッジ認識深度損失を導入する。
• 正則化を通じて Gaussian シーンから直接メッシュ抽出を可能にする。

提案手法

• Gaussian 深度正規化のためのエッジ認識深度損失を導入する。
• センサ深度が利用できない場合は monocular depth priors を用い、 sparse SfM points とのスケールを整合させる。
• Gaussian からジオメトリ的法線を推定し、 monocular normal cues で正規化する。
• 推定法線に対する Total-variation スタイルの平滑化を適用して局所的な一貫性を促す。
• 初期点群からのセンサ深度と法線方向を用いて Gaussian を初期化する。
• 正規化された Gaussian シーンから Poisson surface reconstruction によって直接メッシュを抽出する。

実験結果

リサーチクエスチョン

• RQ1 深度の手掛かりは Gaussian splatting を正規化して室内シーンのジオメトリとフォトリアリズムを改善できるか？
• RQ2 monocular normal priors は追加の学習可能パラメータなしで Gaussians を真のサーフェースに整列させるのに役立つか？
• RQ3 深度/法線の正規化は Gaussian ベースのシーンからの信頼できるメッシュ抽出を可能にするか？
• RQ4 深度損失と法線正規化が新規視点合成の品質にどんな影響を与えるか？
• RQ5 センサ深度と SfM 初期化は再構成の結果にどう影響するか？

主な発見

• Incorporating depth and normal priors significantly improves mesh reconstruction quality on real indoor datasets compared to baselines.
• Depth-regularized Gaussian splatting enhances novel-view synthesis metrics (PSNR, SSIM) and reduces artifacts.
• Monocular depth priors aligned with sparse SfM points provide competitive gains when sensor depth is unavailable.
• Normal priors inferred from Gaussian geometry plus normal smoothing improve surface detail and normal consistency.
• Direct mesh extraction from the regularized Gaussian scene via Poisson reconstruction yields smoother, more geometrically accurate meshes.
• Sensor depth initialization outperforms COLMAP SfM initialization for initialization of Gaussian scenes in indoor datasets.