[論文レビュー] ProbNeRF: Uncertainty-Aware Inference of 3D Shapes from 2D Images

Matthew D. Hoffman, Tuan Anh Lê+5 more|arXiv (Cornell University)|Oct 27, 2022

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

ProbNeRFは、1枚または少数の2D画像から不確実性を考慮した3D形状および外観再構成を可能にする確率的ニューラルレンダリング場モデルを提案する。変分オートエンコーダと、完全なNeRF重み上でのハミルトニアンモンテカルロ推論（HMC）を組み合わせることで、正確なレンダラー、冷却付きHMC、ハイパーネットワークベースのデコーディングを用い、入力ビューと整合的で多様かつ高精細な3D仮説を生成する。

ABSTRACT

The problem of inferring object shape from a single 2D image is underconstrained. Prior knowledge about what objects are plausible can help, but even given such prior knowledge there may still be uncertainty about the shapes of occluded parts of objects. Recently, conditional neural radiance field (NeRF) models have been developed that can learn to infer good point estimates of 3D models from single 2D images. The problem of inferring uncertainty estimates for these models has received less attention. In this work, we propose probabilistic NeRF (ProbNeRF), a model and inference strategy for learning probabilistic generative models of 3D objects' shapes and appearances, and for doing posterior inference to recover those properties from 2D images. ProbNeRF is trained as a variational autoencoder, but at test time we use Hamiltonian Monte Carlo (HMC) for inference. Given one or a few 2D images of an object (which may be partially occluded), ProbNeRF is able not only to accurately model the parts it sees, but also to propose realistic and diverse hypotheses about the parts it does not see. We show that key to the success of ProbNeRF are (i) a deterministic rendering scheme, (ii) an annealed-HMC strategy, (iii) a hypernetwork-based decoder architecture, and (iv) doing inference over a full set of NeRF weights, rather than just a low-dimensional code.

研究の動機と目的

• 従来のNeRFが点推定のみを生成するため、1枚または少数の2D画像からの3D形状再構成における不確実性に対処する。
• 特に遮蔽された部分や未観測部分において形状および外観の不確実性を表現できない既存の条件付きNeRFの限界を克服する。
• 現実的な3Dオブジェクトの事前分布を学習し、潜在コードだけでなく、完全なNeRF表現全体の事後分布推論を可能にする生成モデルを開発する。
• 正確なレンダリング、冷却付きHMC、NeRFパラメータ上の重みレベル推論を組み合わせることで、堅牢で多様かつ高精細な3D再構成を実現する。

提案手法

• 潜在コードの事前分布をモデリングするため、可逆的RealNVPフローを用いた変分オートエンコーダ（VAE）としてProbNeRFを訓練し、その後ハイパーネットワークを用いて完全なNeRF重みを生成する。
• HMCとの互換性を確保し、勾配推定の分散を低減するため、モンテカルロレンダリングの代わりに正確で決定論的なレンダラー（Chenら、2022に基づく）を用いる。
• テスト時推論として、完全なNeRF重み上でのハミルトニアンモンテカルロ（HMC）を実行し、多様で現実的な3D形状仮説の探索を可能にする。
• 非対数凸な尤度関数や孤立した事後モードが存在する状況でも、混合性と収束性を向上させるために、HMCにおける温度冷却戦略を適用する。
• コンパクトで高精細なNeRFを生成する2段階のハイパーネットワークベースのデコーダを採用し、ピixeL単位のレンダリングコストを低減し、反復的推論を効率的に行う。
• 潜在コードと原始的なNeRF重みの両方を事後分布における確率変数として扱い、低次元のコードによるボトルネックを回避し、高精細な再構成を実現する。

実験結果

リサーチクエスチョン

• RQ1 1枚の2D画像からの3D再構成において、確率的NeRFフレームワークを用いて形状および外観の不確実性をモデル化できるか？
• RQ2 未観測のオブジェクト部分に対して、多様な仮説を保ちつつ高精細な3D再構成を達成するにはどうすればよいか？
• RQ3 尤度関数が非対数凸な場合に、完全なNeRF重み空間上での事後分布サンプリングを堅牢に実行する推論戦略は何か？
• RQ4 正確なレンダリングと冷却付きHMCは、標準的なモンテカルロレンダリングとHMCに比べて、サンプリング品質と収束性においてどのように異なるか？
• RQ5 潜在コードだけでなく、完全なNeRF重み自体を推論対象とすることで、再構成の精細さと多様性が向上するか？

主な発見

• ProbNeRFは1枚の2D画像から、入力ビューと整合的で、未観測部分においても意味的に異なる多様で整合的かつ高精細な3D形状仮説を生成する。
• 正確なレンダラーの使用により、安定的かつ効率的なHMCサンプリングが可能であるのに対し、標準的なモンテカルロレンダリングでは高い破棄率と混合性の欠如が生じる。
• 冷却付きHMCは、非対数凸な尤度関数の下で、孤立した事後モードの探索と収束性を顕著に改善する。
• 潜在コードだけでなく完全なNeRF重みを推論対象とすることで、低次元表現のボトルネックが解消され、より高精細な再構成が可能になる。
• 2段階のハイパーネットワークベースのデコーダは、ピixeL単位のレンダリングコストを低減し、反復的テスト時推論を実現可能にする。
• HMCで生成されたサンプルは、遮蔽領域で高いピixeL単位の分散を示しており、意味的な不確実性モデリングが実現されている。一方、アモルタイズド推論（例：VAE）では、ほとんど同一のサンプルが生成され、多様性に欠ける。