[論文レビュー] NeRFactor: Neural Factorization of Shape and Reflectance Under an Unknown Illumination

Xiuming Zhang, Pratul P. Srinivasan+4 more|arXiv (Cornell University)|Jun 3, 2021

Advanced Vision and Imaging参考文献 60被引用数 57

ひとこと要約

NeRFactor は未知の照明下で多視点画像から法線、光の可視性、アルベド、空間的に変化する BRDF を含む完全な 3D 表面を回復し、影のあるリライティングとマテリアル編集を可能にします。

ABSTRACT

We address the problem of recovering the shape and spatially-varying reflectance of an object from multi-view images (and their camera poses) of an object illuminated by one unknown lighting condition. This enables the rendering of novel views of the object under arbitrary environment lighting and editing of the object's material properties. The key to our approach, which we call Neural Radiance Factorization (NeRFactor), is to distill the volumetric geometry of a Neural Radiance Field (NeRF) [Mildenhall et al. 2020] representation of the object into a surface representation and then jointly refine the geometry while solving for the spatially-varying reflectance and environment lighting. Specifically, NeRFactor recovers 3D neural fields of surface normals, light visibility, albedo, and Bidirectional Reflectance Distribution Functions (BRDFs) without any supervision, using only a re-rendering loss, simple smoothness priors, and a data-driven BRDF prior learned from real-world BRDF measurements. By explicitly modeling light visibility, NeRFactor is able to separate shadows from albedo and synthesize realistic soft or hard shadows under arbitrary lighting conditions. NeRFactor is able to recover convincing 3D models for free-viewpoint relighting in this challenging and underconstrained capture setup for both synthetic and real scenes. Qualitative and quantitative experiments show that NeRFactor outperforms classic and deep learning-based state of the art across various tasks. Our videos, code, and data are available at people.csail.mit.edu/xiuming/projects/nerfactor/.

研究の動機と目的

• 単一の未知の照明下で撮影された多視点画像から、形状、空間的に変化する反射率、および環境照明を回復する。
• NeRFベースのボリューム密度を表面表現へ蒸留して、効率的なシェーディングとリライティングを可能にする。
• 実測 BRDF から学習したデータ駆動の BRDF 事前分布を導入し、マテリアル推定を制約する。
• 影をアルベロダから区別して、任意の照明条件下で現実的な影付きリライティングを可能にする。

提案手法

• Surface location, normals, and light visibility を得るために NeRF（または MVS）でジオメトリを初期化する。
• 再レンダリング損失に適合させつつ、ノーマルと可視性をノイズ除去・滑らかにするためにMLPとして再パラメータ化する。
• BRDF を Lambertian アルベドと、リアルな BRDF 測定データ(MERL) に基づく学習済みの非拡散成分の和として表現し、表面点ごとにデコードされた BRDF 潜在空間を用いて表現する。
• 照明を高周波の HDR ライトプローブで表現し、直接・1 回バウンスのレンダリング仮定の下で最適化する。
• 再構成損失と、 normals、visibility、albedo、BRDF に関する滑らかさと事前分布の損失を組み合わせて、形状、反射、照明を分離する。

実験結果

リサーチクエスチョン

• RQ1 単一の照明下で撮影された画像から、外観を形状、空間的に変化する反射率、未知の環境照明に因子分解できるか？
• RQ2 NeRF ベースのジオメトリを学習済みの priors を用いて表面表現へ蒸留することにより、正確なリライティングとマテリアル編集を実現できるか？
• RQ3 データ駆動の BRDF priors は、一-light の制約が少ない設定で現実味のある空間的に変化するマテリアルをどの程度サポートできるか？

主な発見

• 本手法は、未知の照明下のマルチビュー画像から supervision なしで、妥当な 3D 表面法線、光の可視性、アルベド、および BRDF を回復する。
• 光の可視性を明示的にモデリングすることで、影をアルベドから分離し、新規照明下での現実的な影付きを実現できる。
• NeRF 由来の初期化と学習済み priors により、ジオメトリとマテリアル推定が向上し、自由視点リライティングとマテリアル編集が可能になる。
• 結果は、NeRFactor が他の古典的手法や深層学習の最先端を、追加の観測照明条件を必要とせずに複数タスクで上回ることを示している。