[論文レビュー] SparseNeuS: Fast Generalizable Neural Surface Reconstruction from Sparse Views

Xiaoxiao Long, Cheng Lin+3 more|arXiv (Cornell University)|Jun 12, 2022

Computer Graphics and Visualization Techniques被引用数 6

ひとこと要約

SparseNeuS は、学習された幾何的事前知識を用いた符号付き距離関数（SDF）を用いて、2〜3枚の入力ビューからのみ高品質な3次元幾何構造を高速かつ汎用的に再構築する手法を提案する。マルチレベルの幾何推論フレームワーク、マルチスケールのカラー補間、一貫性を意識したファインチューニング方式を活用し、スパースなビューからの課題に打ち勝ち、再構築品質、効率性、未学習シーンへの汎用性において最先端の手法を上回る性能を発揮する。

ABSTRACT

We introduce SparseNeuS, a novel neural rendering based method for the task of surface reconstruction from multi-view images. This task becomes more difficult when only sparse images are provided as input, a scenario where existing neural reconstruction approaches usually produce incomplete or distorted results. Moreover, their inability of generalizing to unseen new scenes impedes their application in practice. Contrarily, SparseNeuS can generalize to new scenes and work well with sparse images (as few as 2 or 3). SparseNeuS adopts signed distance function (SDF) as the surface representation, and learns generalizable priors from image features by introducing geometry encoding volumes for generic surface prediction. Moreover, several strategies are introduced to effectively leverage sparse views for high-quality reconstruction, including 1) a multi-level geometry reasoning framework to recover the surfaces in a coarse-to-fine manner; 2) a multi-scale color blending scheme for more reliable color prediction; 3) a consistency-aware fine-tuning scheme to control the inconsistent regions caused by occlusion and noise. Extensive experiments demonstrate that our approach not only outperforms the state-of-the-art methods, but also exhibits good efficiency, generalizability, and flexibility.

研究の動機と目的

• 密集したビューを必要とする従来のニューラル表面再構築手法の限界、特に新しいシーンへの汎用性の欠如を是正すること。
• 極めてスパースな入力ビュー（2〜3枚）からの高品質な3次元表面再構築を実現すること。
• 画像特徴から幾何的事前知識を学習するための幾何エンコーディングボリュームを用い、ゼロショットで未学習のシーンに一般化可能な表面予測を可能とすること。
• 遮蔽、ノイズ、放射輝度の曖昧さに起因する問題を軽減することで、スパースなビュー下でも再構築の耐障害性を向上させること。
• 階層的幾何推論と一貫性を意識した最適化により、高効率性と高忠実度を両立すること。

提案手法

• 閉曲面再構築のための暗黙的表面表現として符号付き距離関数（SDF）を用いる。
• 複数のビューの画像特徴を集約する幾何エンコーディングボリュームを導入し、汎用的な幾何的事前知識を学習することで、一般化可能な表面予測を実現する。
• 別々の粗い・細かいボリュームを用いた、段階的で粗いものから細かいものへの幾何推論フレームワークを採用し、段階的に表面の詳細を精緻化する。
• ピクセルベースとパッチベースの補間を組み合わせたマルチスケールのカラー補間方式を採用し、局所的および文脈的な放射輝度の一貫性を強制することで、正確な新規ビュー合成を実現する。
• 遮蔽やノイズによる不一致な投影領域を検出し、除外する一貫性を意識したファインチューニング方式を実装し、耐障害性を向上させる。
• 事前知識に基づく初期化を伴う高速なネットワーク推論ステップを実施し、その後に短時間のシーン固有最適化を実行することで詳細の精緻化を図る。

実験結果

リサーチクエスチョン

• RQ1 2〜3枚の入力ビューでのみ、ニューラル表面再構築がスパースな状況下でも耐障害的かつ正確に行えるか？
• RQ2 個々のシーンの再トレーニングなしに、ニューラル手法が効果的に未学習のシーンに一般化できるか？
• RQ3 スパースなビューから効果的に幾何的事前知識を学習することで、再構築品質と効率性を向上させられるか？
• RQ4 遮蔽やノイズに起因する放射輝度の曖昧さや不一致な投影を軽減する戦略は何か？
• RQ5 階層的で粗いものから細かいものへの幾何推論フレームワークは、計算コストを削減しつつ再構築忠実度を向上させられるか？

主な発見

• SparseNeuS は、NeuS や MVSNerf よりも顕著に優れた再構築品質を達成しており、特にテクスチャが弱く、遮蔽がある領域でも、3枚の入力画像のみで優れた結果を示す。
• 効果的な事前知識初期化のおかげで、NeuS よりも7.5倍速く収束し、最適な結果に到達するまでの時間が12分（NeuSは15時間）にまで短縮される。
• 一貫性を意識したファインチューニング方式により、歪みのある幾何構造が軽減され、特に遮蔽やノイズのある領域で表面の滑らかさが向上する。
• マルチレベルの幾何推論フレームワークにより、遠く離れたサンプルを早期に破棄することで推論速度が向上し、詳細を損なわずに計算効率が向上する。
• マルチスケールのカラー補間方式により、色の一貫性とレンダリング忠実度が向上し、特にスパースな入力条件下で顕著に効果を発揮する。
• クロスデータセット評価では強力な汎用性を示し、SparseNeuS は BlendedMVS でトレーニングされていないにもかかわらず MVSNerf を上回り、COLMAP や NeuS が見逃すような細かいディテール（例：ホース）を回復できる。