[論文レビュー] Voxurf: Voxel-based Efficient and Accurate Neural Surface Reconstruction

Tong Wu, Jiaqi Wang+5 more|arXiv (Cornell University)|Aug 26, 2022

3D Shape Modeling and Analysis被引用数 31

ひとこと要約

Voxurfはボクセルベースのパイプラインを用いた効率的で正確な神経表面再構成を提示し、最先端の暗黙法と比べて約20倍のトレーニング速度を達成しつつ、表面忠実度とビュー合成品質を向上させます。

ABSTRACT

Neural surface reconstruction aims to reconstruct accurate 3D surfaces based on multi-view images. Previous methods based on neural volume rendering mostly train a fully implicit model with MLPs, which typically require hours of training for a single scene. Recent efforts explore the explicit volumetric representation to accelerate the optimization via memorizing significant information with learnable voxel grids. However, existing voxel-based methods often struggle in reconstructing fine-grained geometry, even when combined with an SDF-based volume rendering scheme. We reveal that this is because 1) the voxel grids tend to break the color-geometry dependency that facilitates fine-geometry learning, and 2) the under-constrained voxel grids lack spatial coherence and are vulnerable to local minima. In this work, we present Voxurf, a voxel-based surface reconstruction approach that is both efficient and accurate. Voxurf addresses the aforementioned issues via several key designs, including 1) a two-stage training procedure that attains a coherent coarse shape and recovers fine details successively, 2) a dual color network that maintains color-geometry dependency, and 3) a hierarchical geometry feature to encourage information propagation across voxels. Extensive experiments show that Voxurf achieves high efficiency and high quality at the same time. On the DTU benchmark, Voxurf achieves higher reconstruction quality with a 20x training speedup compared to previous fully implicit methods. Our code is available at https://github.com/wutong16/Voxurf.

研究の動機と目的

• Explicit voxel representationsと正確なジオメトリを組み合わせた効率的な神経表面再構成を動機づける。
• 素朴なボクセル+SDFベースラインが微細ジオメトリとカラージオメトリ依存性の保持において抱える限界を特定する。
• カラーとジオメトリの結合を維持しつつ、一貫した詳細表面を実現するアーキテクチャ的革新を提案する。
• 粗から細への改良と滑らかさを促す2段階のトレーニングパラダイムと正則化を導入する。
• DTUとBlendedMVSベンチマークで最先端の性能と速度を示す。

提案手法

• SDFボクセルグリッドと学習可能な特徴ボクセルグリッドを備えた明示的体積表現を採用する。
• 粗い形状の初期化と微細ジオメトリ最適化の2段階トレーニング手順を用いる。
• ジオメトリ誘導カラー学習を特徴駆動カラーリファインメントから分離するデュアルカラー網を導入する。
• 階層的ジオメトリ特徴でマルチスケールSDF情報と勾配を集約し、ボクセル間に詳細を伝搬する。
• Gaussianベースの平滑化とSDFグリッド上の総変動（TV）損失を含む滑らかさの事前分布を適用する。
• 表面の滑らかさと一貫したジオメトリを強制する再構成損失と正則化項で訓練する。

実験結果

リサーチクエスチョン

• RQ1 ボクセルベースの明示表現は、完全に暗黙的な手法と比較して大幅に訓練時間を短縮しつつ高品質な表面再構成を実現できるのか？
• RQ2 デュアルカラー網、階層的ジオメトリ特徴といったアーキテクチャの選択は、カラー-ジオメトリ依存性と表面ディテール学習にどのように影響するのか？
• RQ3 ボクセルベース表面再構成で一貫した粗形状と滑らかな細部を促進する最適な訓練戦略と正則化は何か？
• RQ4 Voxurfは表面再構成と新規ビュー合成の標準ベンチマーク（DTU、BlendedMVS）でどの程度の性能を発揮するのか？
• RQ5 この設定でSDFベースのレンダリングを用いた場合、速度と忠実度のトレードオフはどうなるのか？

主な発見

• NeuSに対して約20xの速度向上を達成し、単一のNvidia A100 GPUで訓練時間がおおよそ15分。
• DTUで表面再構成品質と新規ビュー合成指標で最先端のベースラインを上回る。
• 高周波ジオメトリディテールを保持し、従来のボクセルベースおよび暗黙手法と比較して画像レンダリング品質を向上させる。
• デュアルカラー網と階層的ジオメトリ特徴が協調してジオメトリ忠実度とカラー精度を改善し、一貫した形状と詳細な表面を実現する。
• 後処理と滑らかさの事前分布が表面の滑らかさと視覚品質をさらに向上させる。