[論文レビュー] Density-aware NeRF Ensembles: Quantifying Predictive Uncertainty in Neural Radiance Fields

Niko Sünderhauf, Jad Abou-Chakra+1 more|arXiv (Cornell University)|Sep 19, 2022

Model Reduction and Neural Networks被引用数 7

ひとこと要約

本稿では、RGBの分散とレイごとの終了確率を組み合わせることで、ニューラルレイトランスフィールド（NeRF）におけるエピステミック的不確実性を定量化する密度に配慮したNeRFアンサンブルを提案する。密度に基づく不確実性を組み込むことで、アーキテクチャの変更なしに最先端の不確実性定量化を達成し、アクティブシーンモデリングにおける次善のビュー選択を効果的に行える。

ABSTRACT

We show that ensembling effectively quantifies model uncertainty in Neural Radiance Fields (NeRFs) if a density-aware epistemic uncertainty term is considered. The naive ensembles investigated in prior work simply average rendered RGB images to quantify the model uncertainty caused by conflicting explanations of the observed scene. In contrast, we additionally consider the termination probabilities along individual rays to identify epistemic model uncertainty due to a lack of knowledge about the parts of a scene unobserved during training. We achieve new state-of-the-art performance across established uncertainty quantification benchmarks for NeRFs, outperforming methods that require complex changes to the NeRF architecture and training regime. We furthermore demonstrate that NeRF uncertainty can be utilised for next-best view selection and model refinement.

研究の動機と目的

• NeRFにおける有効な不確実性定量化の欠如、特に未観測のシーン領域に関して。
• 未観測のジオメトリのため、標準的なアンサンブルがエピステミック的不確実性を捉えられないことの証明。
• RGBの分散とレイごとの密度および終了確率を組み合わせることで、正確なエピステミック的不確実性推定が可能になることの示唆。
• 不確実性の有効性をNeRFベースのシーンモデリングにおけるアクティブラーニングにおいて検証すること。
• インスタント-NGPのような現代のNeRFに対して、シンプルで即座に適用可能な不確実性定量化手法の確立。

提案手法

• 同じ訓練データ上でM=5のインスタント-NGP NeRFのアンサンブルを学習し、モデルのばらつきを捉える。
• アンサンブルメンバー間のRGB値の画素単位の分散として予測不確実性を計算する。
• 各レイに沿った予測密度および終了確率に基づく追加のエピステミック的不確実性項を導入する。
• 組み合わせた不確実性（RGBの分散＋密度に配慮したエピステミック項）をモデルの信頼度の代理として使用する。
• 反復的なアクティブラーニングループ内で不確実性に基づくビュー選択を適用し、訓練に追加するための不確実性が最大のビューを選択する。
• ホールドアウトされたテストビューにおけるPSNRを用いて性能を評価し、不確実性に基づく選択とランダム選択の戦略を比較する。

Figure 1 : An ensemble of Neural Radiance Fields can render a mean RGB image and use the colour variance in pixel space to quantify its predictive uncertainty (top). However, this naive approach to ensembling often does not capture the epistemic uncertainty in parts of a scene that were unobserved d

実験結果

リサーチクエスチョン

• RQ1 標準的なNeRFアンサンブルは、特にシーンの未観測領域において、予測不確実性を効果的に定量化できるか？
• RQ2 レイごとの終了確率を組み込むことで、NeRFアンサンブルにおけるエピステミック的不確実性推定が向上するか？
• RQ3 密度に配慮したアンサンブルによる不確実性定量化は、アクティブシーン再構築における次善のビュー選択を効果的に導くことができるか？
• RQ4 不確実性に基づくビュー選択は、ランダム選択と比較して再構築品質および収束速度において優れているか？
• RQ5 提案手法はNeRFアーキテクチャや学習制御を変更せずに最先端の不確実性パフォーマンスを達成できるか？

主な発見

• 提案された密度に配慮したアンサンブルは、アーキテクチャ的・学習制御的変更なしに、不確実性定量化ベンチマークで先行手法を上回り、最先端のパフォーマンスを達成した。
• RGB分散にのみ依存する単純なアンサンブルでは、未観測領域の不確実性を検出できず、レンダリング誤差が著しく高い場合でもしばしば分散がゼロとなる。
• レイごとの終了確率を組み込むことで、特に遮蔽されたり未観測のシーン領域において、エピステミック的不確実性推定が顕著に向上した。
• 不確実性に基づく次善のビュー選択は、ランダム選択と比較して収束が速く、平均および最悪ケースのPSNRが向上した。
• 不確実性に最も寄与するビューを優先することで、最悪ケースの再構築誤差を効果的に低減し、真の誤差と強い相関があることが示された。
• 本手法は計算的に実行可能であり、インスタント-NGPのような高速NeRFバージョンとも互換性があり、リアルタイムでの不確実性推定とアクティブラーニングを可能にした。

Figure 3 : Ensembling is feasible and effective for moderate ensemble sizes. The Negative Log-Likelihood converges quickly for most scenes, improving negligibly beyond sizes of 5 except for T-Rex .