[論文レビュー] NeuS: Learning Neural Implicit Surfaces by Volume Rendering for Multi-view Reconstruction

Peng Wang, Lingjie Liu+4 more|arXiv (Cornell University)|Jun 20, 2021

3D Shape Modeling and Analysis参考文献 36被引用数 85

ひとこと要約

NeuS は表面をニューラル SDF の零レベル集合として表現し、バイアスフリーで遮蔽を考慮したボリュームレンダリングを用いて学習することで、前景マスクなしで高忠実な表面再構成を実現します。

ABSTRACT

We present a novel neural surface reconstruction method, called NeuS, for reconstructing objects and scenes with high fidelity from 2D image inputs. Existing neural surface reconstruction approaches, such as DVR and IDR, require foreground mask as supervision, easily get trapped in local minima, and therefore struggle with the reconstruction of objects with severe self-occlusion or thin structures. Meanwhile, recent neural methods for novel view synthesis, such as NeRF and its variants, use volume rendering to produce a neural scene representation with robustness of optimization, even for highly complex objects. However, extracting high-quality surfaces from this learned implicit representation is difficult because there are not sufficient surface constraints in the representation. In NeuS, we propose to represent a surface as the zero-level set of a signed distance function (SDF) and develop a new volume rendering method to train a neural SDF representation. We observe that the conventional volume rendering method causes inherent geometric errors (i.e. bias) for surface reconstruction, and therefore propose a new formulation that is free of bias in the first order of approximation, thus leading to more accurate surface reconstruction even without the mask supervision. Experiments on the DTU dataset and the BlendedMVS dataset show that NeuS outperforms the state-of-the-arts in high-quality surface reconstruction, especially for objects and scenes with complex structures and self-occlusion.

研究の動機と目的

• 前景マスクや局所最適化への過度な依存を避けつつ、堅牢なマルチビュー表面再構成を動機づける。
• 表面をニューラル SDF の零レベル集合として表現し、正確なジオメトリ抽出を可能にする。
• 2D画像だけから SDF を学習する、バイアスのない遮蔽認識的ボリュームレンダリングの定式化を開発する。
• 薄い構造や激しい遮蔽を含む難しいデータセット（DTU、BlendedMVS）で、優れた再構成品質を示す。

提案手法

• シーンを SDF f(x) および色場 c(x, v) として MLP によって表現する。
• S-density phi_s(f(x)) をロジスティック CDF の導関数として導入し、SDF のボリュームレンダリングを可能にする。
• 不透明密度 rho(t) を定義し、光線に沿う重み w(t)=T(t)rho(t) で T(t)=exp(-∫ rho) が一階の SDF 近似でバイアスなしになるようにする。
• ロジスティック CDF Phi_s およびその導関数から rho(t) を導出し、w(t) が表面の交点でピークを取り、遮蔽を尊重するようにする。
• NeRF 的なサンプリングでレンダリングを離散化し、加重サンプルの総和として色を算出する。訓練時には Eikonal 正則化と任意のマスクを使用する。
• 入力画像との色差を最小化するようにエンドツーエンドで訓練する。任意のマスク損失と階層サンプリングを使用可能。

実験結果

リサーチクエスチョン

• RQ1 バイアスフリーで遮蔽を認識するボリュームレンダリング定式化で訓練されたニューラル SDF は、マスクなしのマルチビュー画像から高忠実な表面を再構成できるか。
• RQ2 提案手法の SDF ベースのボリュームレンダリングは、難易度の高いデータセットで既存の表面ベース（IDR）およびボリュームベース（NeRF）手法とどう比較されるか。
• RQ3 前景マスクなしで自己遮蔽や薄い構造に対して学習した表面は頑健か。

主な発見

• NeuS は DTU および BlendedMVS で、複雑で遮蔽されたジオメトリに特に対して、最先端手法（IDR, NeRF, UNISURF）より再構成忠実度が高い。
• バイアスのない一階ボリュームレンダリング定式は、Naive なボリュームレンダリングと比較して SDF の零レベル集合での表面局在化を改善する。
• アブレーションにより、提案された重み付け構成が素朴なアプローチを上回り、Eikonal 正則化と幾何初期化が SDF の品質を改善することが示される。
• NeuS はマスク監督なしで薄い構造や深度変化の大きいシーンを正確に再構成でき、部分的なテクスチャ下でも頑健性を保つ。
• 定量的な結果（Chamfer 距離）は、マスクあり/なしの両設定でベースラインを一貫して上回ることを示している。