[論文レビュー] Density Uncertainty Quantification with NeRF-Ensembles: Impact of Data and Scene Constraints

Miriam Jäger, Steven Landgraf+1 more|arXiv (Cornell University)|Dec 22, 2023

Optical measurement and interference techniques被引用数 4

ひとこと要約

本稿では、Neural Radiance Fieldsにおける密度の不確実性を定量化するNeRF-Ensemblesを提案し、3次元再構築のロバスト性を向上させるとともに、後処理によるアーチファクト除去を可能にした。複数の独立して初期化されたNeRFを訓練することで、密度予測の分散を用いて不確実性を推定し、ノイズや曇りのようなアーチファクトを低減するとともに、平均密度出力を通じて構造的完全性を向上させた。

ABSTRACT

In the fields of computer graphics, computer vision and photogrammetry, Neural Radiance Fields (NeRFs) are a major topic driving current research and development. However, the quality of NeRF-generated 3D scene reconstructions and subsequent surface reconstructions, heavily relies on the network output, particularly the density. Regarding this critical aspect, we propose to utilize NeRF-Ensembles that provide a density uncertainty estimate alongside the mean density. We demonstrate that data constraints such as low-quality images and poses lead to a degradation of the training process, increased density uncertainty and decreased predicted density. Even with high-quality input data, the density uncertainty varies based on scene constraints such as acquisition constellations, occlusions and material properties. NeRF-Ensembles not only provide a tool for quantifying the uncertainty but exhibit two promising advantages: Enhanced robustness and artifact removal. Through the utilization of NeRF-Ensembles instead of single NeRFs, small outliers are removed, yielding a smoother output with improved completeness of structures. Furthermore, applying percentile-based thresholds on density uncertainty outliers proves to be effective for the removal of large (foggy) artifacts in post-processing. We conduct our methodology on 3 different datasets: (i) synthetic benchmark dataset, (ii) real benchmark dataset, (iii) real data under realistic recording conditions and sensors.

研究の動機と目的

• データおよびシーンの制約がNeRFベースの3次元再構築における密度不確実性に与える影響を調査すること。
• 単一NeRFと比較して、NeRF-Ensemblesのロバスト性向上およびアーチファクト低減性能を評価すること。
• 特に曇りやゴーストのようなアーチファクトに対して、密度不確実性の活用による後処理によるアーチファクト除去の可能性を検討すること。
• 画像品質、ポーズの正確性、遮蔽、素材の性質といった要因が、学習性能および不確実性に与える影響を特定すること。
• 最適なデータおよび取得条件を整備したNeRF-Ensemblesを用いた高品質な3次元再構築のためのベストプラクティスを確立すること。

提案手法

• ランダムに初期化された独立したNeRFを複数用いたマルチメンバーNeRF-Ensembleを訓練し、アンサンブルメンバー間の分散を用いて密度不確実性を推定する。
• アンサンブルメンバー間の平均密度を用いて、よりロバストで完全な3次元再構築を生成し、小さな外れ値やノイズを低減する。
• 密度不確実性にパーセンタイルベースのしきい値を適用し、高不確実性ボクセルを特定・削除することで、後処理段階で大きな（曇りのような）アーチファクトを効果的に除去する。
• 入力データに画像ノイズ（σ_Im）およびポーズノイズ（σ_t, σ_R, σ_t,R）を注入することで、データ制約の影響を評価し、PSNRおよび不確実性への影響を測定する。
• 視野カバレッジのギャップ、遮蔽、素材の性質（例：反射性）といったシーン制約が、3次元空間における不確実性分布に与える影響を分析する。
• 一般化を検証するため、合成データ、実データベンチマーク、および現実的な記録条件下での実世界データの3つのデータセットで実験を実施する。

Figure 1: Flowchart of the methodology: Input data are the images and corresponding camera poses. A NeRF-Ensemble with a total number of M members is trained. The NeRF-Ensemble provides an average network output with mean density values over all NeRFs in the ensemble and a corresponding density unce

実験結果

リサーチクエスチョン

• RQ1 画像ノイズおよびポーズノイズは、NeRFの学習性能および密度不確実性にどのように影響するか？
• RQ2 遮蔽、視野カバレッジが悪い、反射性の高い素材といったシーンレベルの制約は、NeRF再構築における密度不確実性にどのように影響するか？
• RQ3 NeRF-Ensemblesを用いることで、単一NeRFと比較して再構築のロバスト性がどの程度向上するか？
• RQ4 NeRF-Ensemblesからの密度不確実性定量化は、後処理によるアーチファクト除去を効果的に導くことができるか？
• RQ5 密度不確実性を最小限に抑え、再構築品質を最大化するための最適なデータおよび取得条件は何か？

主な発見

• トランスレーション（σ_t）、回転（σ_R）、およびそれらの組み合わせ（σ_t,R）におけるポーズノイズは、PSNRを著しく低下させるとともに密度不確実性を増加させるが、画像ノイズ（σ_Im）はPSNRを低下させるが、必ずしも不確実性を増加させるわけではない。
• 高品質な入力データであっても、取得状況や反射性などの素材の性質に起因する遮蔽領域やカバレッジが悪い領域では、密度不確実性が増加する。
• NeRF-Ensemblesの平均密度出力は、小さな外れ値を低減させ、構造的完全性を向上させ、単一NeRFと比較して滑らかでより完全な再構築を実現する。
• 密度不確実性にパーセンタイルベースのしきい値を適用することで、後処理段階で大きな（曇りのような）アーチファクトを効果的に除去でき、視覚的品質および幾何的忠実度が著しく向上する。
• 密度不確実性を最小限に抑えるために、非ノイズ画像よりも高品質なポーズがより重要であることが示され、NeRFパイプラインにおける正確なカメラキャリブレーションの重要性が強調される。
• NeRF-Ensemblesは、信頼性の高い不確実性定量化を提供し、ロバストネスの向上とターゲットされたアーチファクト除去の両方を可能にするため、追加の学習コストを正当化する。