[論文レビュー] NeuS: Learning Neural Implicit Surfaces by Volume Rendering for Multi-view Reconstruction

Peng Wang, Lingjie Liu+4 more|arXiv (Cornell University)|Jun 20, 2021

3D Shape Modeling and Analysis被引用数 544

ひとこと要約

NeuS はニューラル符号付き距離関数（SDF）を学習し、それらを新規の偏りのない体積レンダリング方式で訓練します。これにより、前景マスクなしで高忠実度のマルチビュー表面再構成を実現します。

ABSTRACT

We present a novel neural surface reconstruction method, called NeuS, for reconstructing objects and scenes with high fidelity from 2D image inputs. Existing neural surface reconstruction approaches, such as DVR and IDR, require foreground mask as supervision, easily get trapped in local minima, and therefore struggle with the reconstruction of objects with severe self-occlusion or thin structures. Meanwhile, recent neural methods for novel view synthesis, such as NeRF and its variants, use volume rendering to produce a neural scene representation with robustness of optimization, even for highly complex objects. However, extracting high-quality surfaces from this learned implicit representation is difficult because there are not sufficient surface constraints in the representation. In NeuS, we propose to represent a surface as the zero-level set of a signed distance function (SDF) and develop a new volume rendering method to train a neural SDF representation. We observe that the conventional volume rendering method causes inherent geometric errors (i.e. bias) for surface reconstruction, and therefore propose a new formulation that is free of bias in the first order of approximation, thus leading to more accurate surface reconstruction even without the mask supervision. Experiments on the DTU dataset and the BlendedMVS dataset show that NeuS outperforms the state-of-the-arts in high-quality surface reconstruction, especially for objects and scenes with complex structures and self-occlusion.

研究の動機と目的

• マスクを監視対象とする表面レンダリング手法を超えた、マルチビュー画像からの頑健な表面再構成を動機づける。
• 表面をニューラル SDF のゼロレベル集合として表現し、新しい体積レンダリングの定式化で学習する。
• 遮蔽処理を維持しつつ、偏りのない一方の表面再構成を確保する。
• マスクの有無にかかわらず、DTU、BlendedMVS などの難易度の高いデータセットで強力な再構成品質を示す。

提案手法

• MLP でパラメータ化されたニューラル SDF f とカラー場 c でシーンを表現する。
• S密度 phi_s をロジスティック分布に由来させて SDF を体積レンダリングと結びつける。
• 不透明密度 rho と標準的な体積レンダリング系を用いて、光線に沿った遮蔽対応の偏りのない重み w(t) を定義する。
• rho(t) および w(t) を計算する式を提供する (rho(t)=max(-dPhi_s/dt / Phi_s, 0); w(t)=T(t) rho(t) で、T(t)=exp(-∫ rho)）。
• カラー損失に加えて任意のマスク損失と SDF に対するエイコノル正則化を用いてエンドツーエンドで訓練する；NeRF と同様の階層サンプリングを用いる。
• マスク設定なしの場合は NeRF++ で背景を処理する；ジオメトリの初期化とエイコノル正則化および幾何学的事前知識で正規化する。

実験結果

リサーチクエスチョン

• RQ1 SDF ベースの表現を体積レンダリングと共に効果的に訓練でき、マスク監視なしで2D 画像から高品質な表面を生成できるか。
• RQ2 偏りのない遮蔽対応体積レンダリング定式化は、従来の密度ベースのレンダリングと比べて表面再構成の忠実度を改善するか。
• RQ3 NeuS は複雑な形状や薄い構造で、オクルージョン下で IDR、NeRF、UNISURF と比較してどのように性能を示すか。
• RQ4 エイコノル正則化と幾何初期化が、多視点再構成のための正確な SDF の学習にどのような影響を与えるか。

主な発見

• NeuS は DTU と BlendedMVS で優れた再構成品質を達成し、マスク有無にかかわらず IDR、NeRF、UNISURF よりも上回る。
• 提案された偏りのない遮蔽対応重み関数により、前景マスクなしでニューラル SDF から正確なゼロレベル表面を抽出できる。
• NeuS は薄い構造を正確に再構成し、重度の自己遮蔽や急激な深度変化にも対応する。
• アブレーションにより、素朴な体積レンダリングや直接的な SDF から体積への写像はバイアスやアーティファクトを招くことが示され、適切な重みづけとエイコノル正則化が SDF の精度を改善することが示された。
• 定性的および定量的な結果は、薄い金属部品や遮られた領域を含む難易度の高いシナリオで堅牢な性能を示している。