[論文レビュー] NeRF++: Analyzing and Improving Neural Radiance Fields

Kai Zhang, Gernot Riegler+2 more|arXiv (Cornell University)|Oct 15, 2020

Computer Graphics and Visualization Techniques参考文献 20被引用数 509

ひとこと要約

NeRF++ は NeRF における形状-輝度の曖昧性を分析し、無限遠360度シーンをより適切に扱うための逆球体パラメータ化を導入します。これにより、難易度の高いデータセットで NeRF より優れたビュー合成を実現します。

ABSTRACT

Neural Radiance Fields (NeRF) achieve impressive view synthesis results for a variety of capture settings, including 360 capture of bounded scenes and forward-facing capture of bounded and unbounded scenes. NeRF fits multi-layer perceptrons (MLPs) representing view-invariant opacity and view-dependent color volumes to a set of training images, and samples novel views based on volume rendering techniques. In this technical report, we first remark on radiance fields and their potential ambiguities, namely the shape-radiance ambiguity, and analyze NeRF's success in avoiding such ambiguities. Second, we address a parametrization issue involved in applying NeRF to 360 captures of objects within large-scale, unbounded 3D scenes. Our method improves view synthesis fidelity in this challenging scenario. Code is available at https://github.com/Kai-46/nerfplusplus.

研究の動機と目的

• 実際に NeRF がなぜ形状-輝度の曖昧性を回避できるのかを調査する。
• NeRF の360°無限遠シーンキャプチャにおける限界を分析する。
• 360° キャプチャにおける無限遠シーンをより適切に扱えるパラメータ化を提案する。
• 実世界の360°および無限遠データセットで忠実度の向上を実証する。

提案手法

• NeRF の潜在的な失敗モードを分析し、形状-輝度の曖昧性と NeRF の MLP 構造が暗黙的規制化子として機能する様子に焦点を当てる。
• 360° の無限遠シーンの前景と背景を分離するための逆球体パラメータ化を導入する。
• シーンを内部の有界前景ボリュームと外部の逆球体背景ボリュームに分割し、2つの別々の NeRF でレンダリングして合成結果を得る。
• 位置と視線方向のためにフーリエ特徴エンコーディングを用いて高周波成分を制御する。
• Tanks and Temples および Light Field データセットで訓練・評価を行い、PSNR、SSIM、LPIPS を用いて NeRF と NeRF++ を比較する。

実験結果

リサーチクエスチョン

• RQ1 NeRF における形状-輝度の曖昧性の原因は何か、そしてどの条件下で NeRF の構造がそれを回避できるのか？
• RQ2 前景のディテールを損なうことなく、特に360°キャプチャにおいて無限遠シーンを頑健にモデル化するために NeRF はどのように適応できるか？
• RQ3 逆球体パラメータ化で前景と背景を分離することは、無限遠シーンでのビュー合成忠実度を改善するか？
• RQ4 実世界の360°および無限遠データセットで NeRF++ が NeRF より得られる定量的な向上（PSNR/SSIM/LPIPS）は何か？

主な発見

Scene	NeRF LPIPS	NeRF SSIM	NeRF PSNR	NeRF++ LPIPS	NeRF++ SSIM	NeRF++ PSNR
Truck	0.513	0.747	20.85	0.298	0.823	22.77
Train	0.651	0.635	16.64	0.523	0.672	17.17
M60	0.602	0.702	16.86	0.435	0.738	17.88
Playground	0.529	0.765	21.55	0.391	0.799	22.37
Africa	0.217	0.894	26.16	0.163	0.923	27.41
Basket	0.377	0.805	20.83	0.254	0.884	21.84
Torch	0.347	0.811	22.81	0.226	0.867	24.68
Ship	0.372	0.801	23.24	0.241	0.867	25.35

• NeRF の MLP 構造と限られた方向性の Fourier 特徴が暗黙的に反射率を正則化し、実践的には退化した形状-輝度解を回避するのを助ける。
• 輝度のための素の対称 MLP は新規ビューへの一般化を低下させ、NeRF の輝度事前知識の役割を支持する。
• NeRF++ は Tanks and Temples および Light Field データセットにおける360°無限遠シーンで、LPIPS、SSIM、PSNR の指標で NeRF を大幅に上回る。
• 逆球体パラメータ化で前景と背景を分離することは背景領域の解像度の問題を解決し、無限遠シーンでより高い忠実度をもたらす。
• 前景/背景分解を2つの別々の NeRF で実施し、内部を有界とすることで、以前は問題となっていた無限遠環境でのレンダリングを可能にする。