[論文レビュー] NeRS: Neural Reflectance Surfaces for Sparse-view 3D Reconstruction in the Wild

Jason Zhang, Gengshan Yang+2 more|arXiv (Cornell University)|Oct 14, 2021

Computer Graphics and Visualization Techniques参考文献 59被引用数 52

ひとこと要約

NeRS は watertight geometry をニューラル BRDFs でモデル化する表面ベースのニューラル表現を提案し、現実世界の疎視点3D再構成を頑健化し、体積法より新規ビュー合成を改善する。

ABSTRACT

Recent history has seen a tremendous growth of work exploring implicit representations of geometry and radiance, popularized through Neural Radiance Fields (NeRF). Such works are fundamentally based on a (implicit) volumetric representation of occupancy, allowing them to model diverse scene structure including translucent objects and atmospheric obscurants. But because the vast majority of real-world scenes are composed of well-defined surfaces, we introduce a surface analog of such implicit models called Neural Reflectance Surfaces (NeRS). NeRS learns a neural shape representation of a closed surface that is diffeomorphic to a sphere, guaranteeing water-tight reconstructions. Even more importantly, surface parameterizations allow NeRS to learn (neural) bidirectional surface reflectance functions (BRDFs) that factorize view-dependent appearance into environmental illumination, diffuse color (albedo), and specular "shininess." Finally, rather than illustrating our results on synthetic scenes or controlled in-the-lab capture, we assemble a novel dataset of multi-view images from online marketplaces for selling goods. Such "in-the-wild" multi-view image sets pose a number of challenges, including a small number of views with unknown/rough camera estimates. We demonstrate that surface-based neural reconstructions enable learning from such data, outperforming volumetric neural rendering-based reconstructions. We hope that NeRS serves as a first step toward building scalable, high-quality libraries of real-world shape, materials, and illumination. The project page with code and video visualizations can be found at https://jasonyzhang.com/ners.

研究の動機と目的

• Volumetric NeRF-style representations for in-the-wild, sparse-view 3D reconstruction に対する頑健な代替案を動機づける。
• Watertight surface geometry を課す Neural Reflectance Surfaces (NeRS) を導入し、外観を diffuse albedo と specular components に分解する。
• インターネットソースのマルチビュー画像の小さなセットから形状、テクスチャ、照明、材料特性を学習する。
• NeRS を novel in-the-wild Multi-view Marketplace Cars (MVMC) データセットで評価し、ベースラインと比較する。

提案手法

• 形状を unit sphere 上の neural deformation field f_shape として表現し watertight surface を生成する。
• テクスチャを sphere 上の neural UV-like field f_tex として表現し surface ごとの色を得る。
• 照明は neural grayscale environment map f_env でモデル化し、Phong ベースの分解でレンダリングする。
• 派生的なラスタリゼーションを用いて per-pixel 放射量を計算する。L_o = T(x) * I_diffuse + k_s * I_specular。
• 画像とマスクの損失、知覚損失、幾何正則化を粗->細の最適化スケジュールで用いて訓練する。

実験結果

リサーチクエスチョン

• RQ1 BRDF に触発した照明を用いる表面ベースのニューラル表現は、 sparse, in-the-wild のマルチビュー画像から形状・テクスチャ・照明を頑健に回復できるか。
• RQ2 NeRS は camera 情報が弱く、視点が限定的な場合、体積的な NeRF スタイル法とどのように比較されるか。
• RQ3 外観を diffuse と specular の成分に分解することは、野外での照明と材料特性の分離に役立つか。
• RQ4 大まかなカテゴリレベルのテンプレートと近似姿勢が、多様なオブジェクトカテゴリで高品質な再構成を導くか。

主な発見

• NeRS は MVMC において NeRF ∗、MetaNeRF、IDR を含むベースラインを大幅に上回り、MSE、PSNR、SSIM、LPIPS、FID の全指標で改善を示す。
• NeRS は MSE 0.0254、PSNR 16.5、SSIM 0.720、LPIPS 0.172、FID 60.9 を達成し、すべての列挙されたベースラインを上回る。
• 表面ベースの表現は、環境照明、拡散反射率、鏡面反射の光沢感を分離することで、視点依存の反射を正確にモデリングできる。
• 大まかな初期化（粗いキューブ状メッシュ）だけで、多様な物体の詳細な形状・テクスチャ・照明を回復できる。
• MVMC データセットは、現実世界の大規模なマルチビューデータを提供し、疎視点再構成と新規ビュー合成をベンチマークする。