[論文レビュー] S$^3$-NeRF: Neural Reflectance Field from Shading and Shadow under a Single Viewpoint

Wenqi Yang, Guanying Chen+3 more|arXiv (Cornell University)|Oct 17, 2022

Computer Graphics and Visualization Techniques被引用数 11

ひとこと要約

S$^3$-NeRF は、可視および非可視表面を含む完全な 3D スキャン幾何構造を、変化する点光源のもとでの単一視点画像から再構築する新しいニューラル反射率フィールド手法を提案する。微分可能ボリュームレンダリングとオンラインシャドウ計算を用いて、シェーディングおよびシャドウの手がかりを介し、幾何構造と BRDF を同時に最適化することで、高精度で頑健な再構築を実現し、未キャリブレーションな光源位置や限られた光源数でも、新規ビュー合成およびライティングの再現が可能になる。

ABSTRACT

In this paper, we address the "dual problem" of multi-view scene reconstruction in which we utilize single-view images captured under different point lights to learn a neural scene representation. Different from existing single-view methods which can only recover a 2.5D scene representation (i.e., a normal / depth map for the visible surface), our method learns a neural reflectance field to represent the 3D geometry and BRDFs of a scene. Instead of relying on multi-view photo-consistency, our method exploits two information-rich monocular cues, namely shading and shadow, to infer scene geometry. Experiments on multiple challenging datasets show that our method is capable of recovering 3D geometry, including both visible and invisible parts, of a scene from single-view images. Thanks to the neural reflectance field representation, our method is robust to depth discontinuities. It supports applications like novel-view synthesis and relighting. Our code and model can be found at https://ywq.github.io/s3nerf.

研究の動機と目的

• 単一視点手法が 2.5D 表現（例：深度マップや法線マップ）しか回復できないという限界に対処すること。これは、隠れた表面や背面面をモデル化できない。
• 複数の点光源を用いた単一の視点からのみ、完全な 3D スキャン再構築（非可視部分を含む）を可能にすること。
• モノクローラルシェーディングおよびシャドウの手がかりを活用し、マルチビューの写真一貫性に依存せず、幾何構造と BRDF を同時に最適化するニューラルリフレクタンスフィールドを構築すること。
• 継続的 3D スキャン表現を学習することで、新規ビュー合成やライティングといった後続のアプリケーションを支援すること。

提案手法

• 3D 座標をシーンの特性（幾何構造、BRDF、色）にマップするニューラルリフレクタンスフィールドを定式化し、座標ベースの MLP を用いて暗黙的な 3D 表現を実現する。
• 微分可能ボリュームレンダリングを活用して、3D レイからピクセル色を計算し、方向性の照明と BRDF モデルを組み込んだ物理ベースのレンダリングを実装する。
• 3D ポイントから光源へのレイトレーシングによりシャドウ計算を統合し、期待される表面ポイントに最適化を制限することで、効率的なオンラインシャドウ評価を可能にする。
• 自己キャリブレーションされたフォトメトリックステレオネットワーク（SDPS-Net）を用いて、未キャリブレーションの実世界のキャプチャでも光源位置と方向を同時に最適化する。
• 写真再構築損失、法線一貫性損失、深度正則化項を組み合わせたマルチ損失目的関数を用い、幾何構造と反射率の精度を向上させる。
• 変化する点光源のもとでの単一視点画像に対して、エンドツーエンドで学習することで、非ラムベール材料および深度の不連続性の再構築を可能にする。

実験結果

リサーチクエスチョン

• RQ1 複数の点光源のもとでの単一視点からのシェーディングおよびシャドウの手がかりを、隠れた表面や非可視表面を含む完全な 3D 幾何構造の再構築に効果的に活用できるか？
• RQ2 マルチビューの一貫性に依存せず、モノクローラルフォトメトリック画像から、幾何構造と BRDF を同時に回復できるか？
• RQ3 実世界のキャプチャ環境における光源数や空間的配置の変動に対して、この手法はどれほど頑健か？
• RQ4 単一視点からの学習にもかかわらず、新規ビュー合成およびライティングの再現にどの程度寄与できるか？
• RQ5 既存の単一視点またはマルチビュー手法と比較して、複雑な素材や深度の不連続性を有するシーンにおいて、この手法はどの程度の性能を示すか？

主な発見

• 128 個の点光源を用いた場合、CHAIR データセットでは平均絶対誤差（MAE）が 1.81、ARMADILLO データセットでは 1.88 に達し、深度誤差は 9.0 mm 未満、PSNR は 40.0 を超えるという結果を得た。これは、高い再構築忠実度を示している。
• 光源数を 8 個に減らしても、依然として高い性能を維持し、CHAIR で MAE 2.33、ARMADILLO で 2.51 を達成した。これは、光源数が少ない場合の頑健性を示している。
• 光源数が増加するにつれて性能が向上し、光源数 4 個で MAE 30.39、128 個で 1.81 に低下した。これは、より多くの光源入力が表面幾何構造の精錬に寄与することを示している。
• シャドウの手がかりを活用して、光源分布が小さかろうが広かろうが、非可視領域を効果的に再構築できた。異なる光源範囲においても一貫性のある性能を示した。
• 未キャリブレーションのフラッシュライトを用いた実世界のキャプチャにおいても、視覚的に妥当な法線マップと 3D 再構築を達成した。これは、手動での光源キャリブレーションが不要であることを実証した。
• 高品質な新規ビュー合成およびライティングが可能であり、学習されたニューラルリフレクタンスフィールドの実用的価値が示された。