[論文レビュー] Stochastic Neural Radiance Fields: Quantifying Uncertainty in Implicit 3D Representations

Jianxiong Shen, Adrià Ruiz+2 more|arXiv (Cornell University)|Sep 5, 2021

Human Pose and Action Recognition被引用数 4

ひとこと要約

本稿では、変分推論を用いて放射場の確率的分布を学習することで不確実性をモデル化する、NeRFのベイジアン拡張版であるStochastic Neural Radiance Fields (S-NeRF) を提案する。S-NeRFは、新規ビュー合成および深度マップ推定において信頼性の高い不確実性推定を提供し、計算コストを増加させることなく、一般的な不確実性手法を上回る性能を発揮する。

ABSTRACT

Neural Radiance Fields (NeRF) has become a popular framework for learning implicit 3D representations and addressing different tasks such as novel-view synthesis or depth-map estimation. However, in downstream applications where decisions need to be made based on automatic predictions, it is critical to leverage the confidence associated with the model estimations. Whereas uncertainty quantification is a long-standing problem in Machine Learning, it has been largely overlooked in the recent NeRF literature. In this context, we propose Stochastic Neural Radiance Fields (S-NeRF), a generalization of standard NeRF that learns a probability distribution over all the possible radiance fields modeling the scene. This distribution allows to quantify the uncertainty associated with the scene information provided by the model. S-NeRF optimization is posed as a Bayesian learning problem which is efficiently addressed using the Variational Inference framework. Exhaustive experiments over benchmark datasets demonstrate that S-NeRF is able to provide more reliable predictions and confidence values than generic approaches previously proposed for uncertainty estimation in other domains.

研究の動機と目的

• ロボット工学やARなどの安全が求められる応用分野において、NeRFベースの3次元シーン表現における不確実性の定量化が不足しているという問題に取り組む。
• 決定論的予測ではなく、すべての可能な放射場における不確実性をモデル化する確率的一般化版NeRFを開発する。
• 新規ビューレンダリングや深度マップ予測などの下流タスクにおける信頼性の高い信頼度推定を可能にする。
• 計算複雑性を増加させることなく不確実性推定をNeRFに統合し、実用的導入を確保する。

提案手法

• S-NeRFは、標準NeRFを一般化し、放射場と密度をパラメータ化された分布を持つ確率的変数としてモデル化することで、すべての可能な放射場における不確実性モデリングを可能にする。
• 本手法はNeRF学習をベイジアン推論問題として定式化し、変分推論を用いて放射場上の事後分布を推定する。
• 確率的後退分布は確率的勾配降下法により最適化され、負の対数尤度項とKLダイバージェンス項を含む変分下界を最小化する。
• 訓練視点で観測された空間的位置に対して、最適化可能な分散を持つ学習済み事前分布を導入することで、固定の高分散事前分布よりも安定性と性能が向上する。
• 本フレームワークは、新規ビューレンダリングだけでなく、深度マップ予測などの3次元ジオメトリの不確実性推定も可能にする。
• 最適化目的関数は、尤度、KLダイバージェンス、および学習済み事前分布項を組み合わせており、より良い一般化と不確実性のキャリブレーションを可能にする。

実験結果

リサーチクエスチョン

• RQ1 NeRFの確率的一般化は、3次元シーン表現における不確実性を効果的に定量化できるか？
• RQ2 S-NeRFは、他の分野における一般的な不確実性手法と比較して、不確実性推定をどのように改善するか？
• RQ3 観測された空間位置に学習済み事前分布を組み込むことで、不確実性のキャリブレーションとモデルの安定性が向上するか？
• RQ4 S-NeRFは、深度マップ推定などの3次元ジオメトリタスクに対して意味のある不確実性推定を提供できるか？
• RQ5 提案手法はスケーラブルで効率的であり、不確実性モデリングを追加しても計算効率を維持できるか？

主な発見

• S-NeRFは、低い負の対数尤度（NLL）と高いMSE-不確実性相関を測定することで、一般的な不確実性推定手法よりも顕著に優れた不確実性キャリブレーションを達成する。
• 観測された空間位置に最適化可能な分散を持つ学習済み事前分布を組み込むことで、性能と訓練の安定性が向上し、固定の高分散事前分布による部分的最適解のリスクが低減される。
• S-NeRFは、観測されていない領域や深度の不連続領域（例：物体の境界）に対して高い不確実性を割り当てており、これらの領域におけるモデルの信頼度の低さを反映している。
• 深度マップ合成において、S-NeRFは遮蔽領域やシーン境界に対応する低信頼度領域を正しく特定する信頼性の高い不確実性推定を示している。
• ベンチマークデータセットでの実験により、S-NeRFは計算効率を維持しながら、NeRFベースの3次元表現における最先端の不確実性定量化を実現している。
• フレームワークは、一時的な物体や訓練ビューが欠落している領域などの高不確実性領域を効果的に特定・フラグ付けできており、実世界応用における耐障害性を高めている。