[論文レビュー] PlaNeRF: SVD Unsupervised 3D Plane Regularization for NeRF Large-Scale Scene Reconstruction

Fusang Wang, Arnaud Louys+4 more|arXiv (Cornell University)|May 26, 2023

Advanced Vision and Imaging被引用数 5

ひとこと要約

PlaNeRF は、3D 監督（LiDAR やメッシュなど）を用いずに、大規模な都市環境における 3D ジオメトリ再構築を向上させる、非教師付きの SVD を用いた平面正則化手法を導入する。ボリュメトリック密度の初期化にパッチベースの SSIM を活用し、NeRF の暗黙的ジオメトリに SVD を用いて平面整合性を強制することで、KITTI-360 で最先端の幾何的正確性を達成するとともに、競争力あるレンダリング品質を維持する。

ABSTRACT

Neural Radiance Fields (NeRF) enable 3D scene reconstruction from 2D images and camera poses for Novel View Synthesis (NVS). Although NeRF can produce photorealistic results, it often suffers from overfitting to training views, leading to poor geometry reconstruction, especially in low-texture areas. This limitation restricts many important applications which require accurate geometry, such as extrapolated NVS, HD mapping and scene editing. To address this limitation, we propose a new method to improve NeRF's 3D structure using only RGB images and semantic maps. Our approach introduces a novel plane regularization based on Singular Value Decomposition (SVD), that does not rely on any geometric prior. In addition, we leverage the Structural Similarity Index Measure (SSIM) in our loss design to properly initialize the volumetric representation of NeRF. Quantitative and qualitative results show that our method outperforms popular regularization approaches in accurate geometry reconstruction for large-scale outdoor scenes and achieves SoTA rendering quality on the KITTI-360 NVS benchmark.

研究の動機と目的

• NeRF が低テクスチャで大規模な屋外環境（例えば都市ドライブ環境）において幾何的再構築が劣る問題を解決すること。
• LiDAR やメッシュなどの 3D 監督に依存せずに、NeRF の幾何的忠実度を向上させること。
• 事前の表面法線や幾何的事前知識を仮定しない平面正則化手法を開発すること。
• RGB イメージとセマンティックマップのみを用いて、道路などの平坦な表面を正確かつ滑らかに再構築できること。
• 挑戦的な屋外シナリオにおいて幾何的整合性を著しく向上させつつ、競争力あるレンダリング品質を達成すること。

提案手法

• NeRF の暗黙的 3D 表現に対して、レイ特徴行列の特異値分解（SVD）を用いて平面整合性を強制する、新規の SVD を用いた平面正則化損失（$\mathcal{L}_{\text{SVD}}$）を導入する。
• ボリュメトリック密度の初期化に、パッチベースの構造的類似度指標（SSIM）損失（$\mathcal{L}_{\text{dSSIM}}$）を活用し、初期段階からより良い幾何的構造を促進する。
• SVD を用いた正則化を、セマンティックセグメンテーションマスクによって平面と特定された領域に限定して適用し、道路表面など低テクスチャ領域に焦点を当てる。
• 外部の幾何的事前知識や法線推定に依存せず、NeRF の初期ジオメトリから SVD を計算する。
• SVD 損失（$\mathcal{L}_{\text{SVD}}$）と dSSIM 損失（$\mathcal{L}_{\text{dSSIM}}$）を共同最適化に統合し、幾何とレンダリング品質の両方を向上させる。
• SVD 損失を PyTorch で実装し、小さな行列の CPU オフロードにより性能に悪影響が生じ、学習速度が 44% 減速するが、実用的かつ効果的である。

実験結果

リサーチクエスチョン

• RQ1 3D 監督なしに、非教師付きの平面正則化が大規模で低テクスチャの都市環境における NeRF の幾何を向上させられるか？
• RQ2 表面法線事前知識が存在しない状況でも、SVD を用いた正則化が平面構造をどれほど効果的に強制できるか？
• RQ3 パッチベースの SSIM 損失は、NeRF の初期幾何的推定を改善し、その後続の再構築に良い影響を与えるか？
• RQ4 実世界のドライブベンチマークにおいて、既存の幾何正則化手法と比較して、PlaNeRF の幾何的正確性とレンダリング品質はどの程度優れているか？
• RQ5 本手法は、無限大の屋外シーンに一般化可能であり、テクスチャの欠如した領域に対しても頑健性を保てるか？

主な発見

• PlaNeRF は KITTI-360 ベンチマークで、平坦な表面において最小のチャーム距離（CD: 9.6）と $\text{P}_{\sigma}$（4.6）を達成し、優れた幾何的正確性を示している。
• PSNR 22.90 と SSIM 0.857 を達成し、レンダリング品質においてもトップクラスの性能を発揮しながら、幾何的整合性を著しく向上させている。
• アブレーションスタディの結果、$\mathcal{L}_{\text{SVD}}$ を削除すると CD が 2.2、$\text{P}_{\sigma}$ が 10.4 上昇し、幾何向上におけるその重要性が確認された。
• $\mathcal{L}_{\text{dSSIM}}$ 損失は初期化を改善し、削除した場合の PSNR の低下を 0.28 減少させ、SSIM を 0.837 から 0.857 まで向上させた。
• 定性的な結果では、PlaNeRF は、平面正則化が欠如しているベースラインと比較して、滑らかで平坦な道路面を再構築している。
• SVD 計算における非効率な CPU オフロードにより学習速度が 44% 減速したが、大規模なシーン再構築においても実用的かつ効果的である。