[論文レビュー] Bayes' Rays: Uncertainty Quantification for Neural Radiance Fields

Lily Goli, Cody Reading+3 more|arXiv (Cornell University)|Sep 6, 2023

Cell Image Analysis Techniques被引用数 5

ひとこと要約

BayesRaysは、損失関数のヘシアンのラプラス近似と空間的摂動を用いて、事前学習済みNeural Radiance Fields（NeRFs）の後処理型ベイジアン不確実性評価フレームワークを導入する。再訓練を必要とせず、1分未満で空間的不確実性フィールドを計算可能であり、リアルタイムでのアーティファクト除去が可能で、深度誤差との相関性において先行手法を上回る性能を示す。

ABSTRACT

Neural Radiance Fields (NeRFs) have shown promise in applications like view synthesis and depth estimation, but learning from multiview images faces inherent uncertainties. Current methods to quantify them are either heuristic or computationally demanding. We introduce BayesRays, a post-hoc framework to evaluate uncertainty in any pre-trained NeRF without modifying the training process. Our method establishes a volumetric uncertainty field using spatial perturbations and a Bayesian Laplace approximation. We derive our algorithm statistically and show its superior performance in key metrics and applications. Additional results available at: https://bayesrays.github.io.

研究の動機と目的

• NeRFにおける原理的で効率的な不確実性評価、特に視認不能や欠落した視点に起因する知識的不確実性の欠如に対処すること。
• 訓練画像や再訓練へのアクセスが不要な、あらゆる事前学習済みNeRFアーキテクチャと互換性を持つ手法の開発。
• 不確実性フィールドのしきい値処理を用いたNeRFのアーティファクトクリーニングといった実用的応用の実現。
• 再構成誤差と意味的に相関する統計的に根拠のある不確実性推定の提供。

提案手法

• NeRFのサンプリングポイントの3次元座標を学習された変形場を用いて変形することで、放射場に空間的摂動を適用する。
• 訓練済み解の周辺におけるモデル重みの事後分布を推定するためにベイジアンラプラス近似を採用し、ヘシアンの対角成分に注目する。
• 3次元グリッド（サイズ$M^3$）上で変形場を離散化し、三線形補間を可能にすることで、空間的不確実性推定を実現する。
• ヘシアン近似の副産物として不確実性フィールドを計算し、これを追加の色チャンネルとしてレンダリングする。
• 不確実性フィールドを用いて、しきい値処理によりリアルタイムかつインタラクティブにNeRFクリーニングを実行し、フローターなどのアーティファクトを除去する。
• 可視性マスクや学習データを避けるために、すべての必要な情報をヘシアン行列$\mathbf{H}$に格納する。

Figure 2 : Inspired by uncertainty quantification in classic photogrammetry (left), we find epistemic uncertainty in NeRF (right).

実験結果

リサーチクエスチョン

• RQ1 訓練プロセスの変更や学習データの必要なしに、NeRFにおける知識的不確実性を後処理で評価可能か？
• RQ2 提案手法の不確実性フィールドは、既存手法と比較して、実際の深度再構成誤差とどの程度相関しているか？
• RQ3 不確実性フィールドは、フローターなどのNeRFアーティファクトをリアルタイムで効果的に除去するために有効に利用可能か？
• RQ4 本手法は多様なNeRFアーキテクチャやシーンタイプに対してどれほど頑健か？
• RQ5 グリッド解像度（$M^3$）と不確実性しきい値が、アーティファクト除去の品質と計算コストに与える影響はいかほどか？

主な発見

• BayesRaysは、アーキテクチャや学習詳細に関係なく、あらゆる事前学習済みNeRFに対して1分未満で空間的不確実性フィールドを計算可能である。
• 不確実性フィールドは深度誤差と強く相関しており、キーメトリクスにおいて、従来のヒューリスティック的手法や確率的手法を上回る性能を示す。
• 不確実性フィールドのしきい値処理により、リアルタイムかつインタラクティブなNeRFクリーニングが可能となり、サンプリングアーティファクトを引き起こさずにフローターを除去できる。
• Nerfbustersが失敗した「Pikachu」と「Flowers」シーンにおいても、本手法は効果的にアーティファクトを除去できた。
• 不確実性フィールドはNeRFアーキテクチャに依存しないため、『Lego』シーンにおけるMip-NeRF、Instant NGP、Nerfactoのあらゆるアーキテクチャで同等の性能を示した。
• 本手法は知識的不確実性のみを捉えており、アレアトリックノイズはモデル化していないため、ノイズの多い学習ビューに起因する不整合は解消できない。

Figure 3 : BayesRays applied to different NeRF architectures. ”Lego” [ 24 ] is only trained with cameras on its left hemisphere.