[論文レビュー] Robust Gaussian Splatting

François Darmon, Lorenzo Porzi+2 more|arXiv (Cornell University)|Apr 5, 2024

Advanced Statistical Process MonitoringDecision Sciences被引用数 3

ひとこと要約

本稿では、カメラポーズのガウス分布としての運動歪みを統合的にモデル化することで、カメラポーズと歪み補正を一括して最適化できる、耐障害性の高い3Dガウススプラッタリングフレームワークを提案する。さらに、2次元共分散オフセットと各画像ごとの色変換を導入し、露出やホワイトバランスの変動に対応する。実世界（ScanNet++）および合成（Deblur-NeRF）ベンチマークにおいて、顕著なPSNRおよびSSIMの向上を達成し、最先端の性能を実現した。

ABSTRACT

In this paper, we address common error sources for 3D Gaussian Splatting (3DGS) including blur, imperfect camera poses, and color inconsistencies, with the goal of improving its robustness for practical applications like reconstructions from handheld phone captures. Our main contribution involves modeling motion blur as a Gaussian distribution over camera poses, allowing us to address both camera pose refinement and motion blur correction in a unified way. Additionally, we propose mechanisms for defocus blur compensation and for addressing color in-consistencies caused by ambient light, shadows, or due to camera-related factors like varying white balancing settings. Our proposed solutions integrate in a seamless way with the 3DGS formulation while maintaining its benefits in terms of training efficiency and rendering speed. We experimentally validate our contributions on relevant benchmark datasets including Scannet++ and Deblur-NeRF, obtaining state-of-the-art results and thus consistent improvements over relevant baselines.

研究の動機と目的

• 低品質でハンドヘルドで撮影されたデータを含む実世界応用における3Dガウススプラッタリング（3DGS）の耐障害性を向上させること。
• 運動歪み、被写 depth 歪み、不完全なカメラポーズ、照明やカメラ設定による色の不一致といった一般的な誤差要因に対処すること。
• ノイズが多く歪んだ入力データ下でも、3DGSの学習効率とレンダリング速度を維持しつつ、再構築の忠実度を向上させること。
• 実世界データセット（ScanNet++）と合成ベンチマーク（Deblur-NeRF）を用い、現実的な評価プロトコル下で本手法の有効性を検証すること。

提案手法

• 運動歪みをカメラポーズ上のガウス分布としてモデル化し、トレーニング中にポーズと歪み補正を同時に最適化可能にする。
• 投影時にガウスに2次元共分散オフセットを導入し、画像面上での被写 depth 歪みを補正する。
• 環境光、影、ホワイトバランスの変動を補正するため、各画像ごとの学習可能なアフィン色変換を導入する。
• 推論時に色変換を球面調和関数に統合し、標準的な3DGSレンダラとの互換性を確保する。
• 評価のため、予測されたポーズと色を真値に合わせるためのテスト時適応を採用し、過学習を回避する。
• 最大勾配の大きさが低下する傾向を示す「曇り具合」の指標を用い、ScanNet++の評価において高品質なテストビューを選別する。

Figure 1 : Hand-held phone captures (top left, from ScanNet++) can be challenging to reconstruct with 3D Gaussian Splatting (top center), due to inter-frame color inconsistencies (bottom left), motion blur and defocus blur (bottom right). We show how these factors can explicitly and easily be modele

実験結果

リサーチクエスチョン

• RQ1 確率的定式化を用いて、3DGSフレームワーク内で運動歪みとカメラポーズ誤差を同時に補正できるか？
• RQ2 2次元共分散オフセットによる被写 depth 歪みのモデル化は、再構築品質の向上にどの程度効果的か？
• RQ3 各画像ごとの色変換は、環境光やカメラ設定に起因する色の不一致をどの程度軽減できるか？
• RQ4 本手法は、現実的な評価条件下で実世界および合成ベンチマークにおいて最先端の性能を達成できるか？

主な発見

• 本手法全体は、ScanNet++ベンチマークでPSNR 24.08、SSIM 0.850を達成し、ベースライン3DGSより2.35ポイント以上のPSNR向上を実現した。
• 色変換とポーズ最適化を併用することで、ベースライン比2.37ポイントのPSNR向上が得られたが、色補正を省略した場合、1.37ポイントのPSNR低下を引き起こした。
• 運動歪みモデル化のみでPSNR 24.08を達成したが、被写 depth 歪みモデル化を追加してもさらなる向上は得られず、これはScanNet++において被写 depth 歪みがまれであるためと推測される。
• Deblur-NeRFの合成データセットでは、被写 depth 歪みに対してPSNR 29.24、SSIM 0.9168を達成し、標準3DGS（24.46 PSNR）およびDeblur-GS（29.43 PSNR）を上回った。
• 本手法は実世界データにおいて顕著な性能向上を示し、アブレーション設定のあらゆる状況で、ベースライン3DGS比2.12～2.37ポイントのPSNR向上を達成した。
• Deblur-NeRFでは被写 depth 歪みモデル化が有効であったが、運動歪みが支配的で被写 depth 歪みが稀なScanNet++ではそれほど効果的ではなかった。

Figure 2 : In 3DGS, defocus blur (left), color inconsistencies (center) and motion blur (right) can be modeled as simple transformations applied to the 3D Gaussian primitives (Sec. 4 ). This allows us to estimate per-camera motion, appearance and focus parameters, which can be factored out to recove