[論文レビュー] NeRF-VAE: A Geometry Aware 3D Scene Generative Model

Adam R. Kosiorek, Heiko Strathmann+5 more|arXiv (Cornell University)|Apr 1, 2021

Advanced Vision and Imaging参考文献 41被引用数 26

ひとこと要約

NeRF-VAE は、個々のシーン潜在変数で条件付けられた共有の NeRF ベースデコーダを使用する、幾何学情報を持つ3Dシーン生成モデルであり、少数の入力画像から新規視点で幾何学的に一貫したシーンをアモルタイズ推論およびレンダリングを可能にする。

ABSTRACT

We propose NeRF-VAE, a 3D scene generative model that incorporates geometric structure via NeRF and differentiable volume rendering. In contrast to NeRF, our model takes into account shared structure across scenes, and is able to infer the structure of a novel scene -- without the need to re-train -- using amortized inference. NeRF-VAE's explicit 3D rendering process further contrasts previous generative models with convolution-based rendering which lacks geometric structure. Our model is a VAE that learns a distribution over radiance fields by conditioning them on a latent scene representation. We show that, once trained, NeRF-VAE is able to infer and render geometrically-consistent scenes from previously unseen 3D environments using very few input images. We further demonstrate that NeRF-VAE generalizes well to out-of-distribution cameras, while convolutional models do not. Finally, we introduce and study an attention-based conditioning mechanism of NeRF-VAE's decoder, which improves model performance.

研究の動機と目的

• Neural Radiance Fields (NeRF) を用いてシーン全体の生成モデルに3D幾何構造を組み込む。
• 再学習なしで新規シーンを推定できるよう、各シーンごとのアモルタイズ推論を有効化する。
• 少数のビューからの再構成を改善するために、複数シーンにわたる共有されたシーン事前知識を学習する。
• 視点間の幾何的一貫性を維持するために微分可能体積レンダリングを通じて。
• シーン関数モデリングを改善する柔軟な条件付け機構を提供する（注意機構を含む）。

提案手法

• シーン関数 G_theta(x,d) を、シーンごとの潜在変数 z で条件付けられた NeRF デコーダとして表現する。
• コンテキスト画像とカメラ姿勢の集合 C から近似後方分布 q_lambda(z|C) を推定するエンコーダ E_phi を用いる。
• 再構成項と q_lambda と p(z) のKLダイバージェンスを含む変分目的 ELBO を用いて訓練する。
• 後方パラメータ lambda を洗練する反復的アモルタイズ推論を採用し、アモルタイズギャップを縮小する。
• x および d の Fourier/円形エンコーディングを含む、MLP および注意機構ベースの条件付けを探索する。
• NeRF風のレイマーチングを用いた微分可能体積レンダリングによって画像をレンダリングし、必要に応じて深度マップを推定する。

実験結果

リサーチクエスチョン

• RQ1 共有されたシーン事前知識により、非常に少ない入力ビューから新規で幾何学的一貫性のあるシーンを推論できるか？
• RQ2 潜在的な各シーン表現が、完全な各シーン NeRF と比較して表現力と再構成品質にどのように寄与するか？
• RQ3 幾何知を持つデコーディングは、畳み込みベースラインと比較して分布外のカメラ視点への一般化を改善するか？
• RQ4 再構成と一般化に対する異なる条件付け機構（MLP対注意機構）の影響は何か？

主な発見

• NeRF-VAE は、100ビュー未満で訓練した場合に NeRF より再構成誤差が小さく、単一ビューから一定時間でシーン構造を推定できる。
• このモデルは、畳み込みベースライン（例：GQN 系）よりも分布外のカメラ視点への一般化が良い。
• いくつかの設定で、単純な MLP 条件付けよりも注意機構ベースの条件付けが性能を向上させる。
• 学習されたシーンの事前知識は、新規シーンのサンプリングと複数の視点からのレンダリングを可能にし、妥当な幾何と深度推定を提供する。
• 反復的アモルタイズ推論はアモルタ化ギャップを縮小し、複雑なシーンでは単純なアモルタイズ推論より再構成を改善する。