[論文レビュー] HF-NeuS: Improved Surface Reconstruction Using High-Frequency Details

Yiqun Wang, Ivan Skorokhodov+1 more|arXiv (Cornell University)|Jun 15, 2022

3D Shape Modeling and Analysis被引用数 47

ひとこと要約

HF-NeuS は、透明性を変換された SDF としてモデル化することにより、ニューラル表面再構成を改善し、基底 SDF に変位 SDF を加えた高周波ディテール、およびアダプティブで空間的に変化する最適化を適用して、アーティファクトを含む表面領域に焦点を当てます。

ABSTRACT

Neural rendering can be used to reconstruct implicit representations of shapes without 3D supervision. However, current neural surface reconstruction methods have difficulty learning high-frequency geometry details, so the reconstructed shapes are often over-smoothed. We develop HF-NeuS, a novel method to improve the quality of surface reconstruction in neural rendering. We follow recent work to model surfaces as signed distance functions (SDFs). First, we offer a derivation to analyze the relationship between the SDF, the volume density, the transparency function, and the weighting function used in the volume rendering equation and propose to model transparency as transformed SDF. Second, we observe that attempting to jointly encode high-frequency and low-frequency components in a single SDF leads to unstable optimization. We propose to decompose the SDF into a base function and a displacement function with a coarse-to-fine strategy to gradually increase the high-frequency details. Finally, we design an adaptive optimization strategy that makes the training process focus on improving those regions near the surface where the SDFs have artifacts. Our qualitative and quantitative results show that our method can reconstruct fine-grained surface details and obtain better surface reconstruction quality than the current state of the art. Code available at https://github.com/yiqun-wang/HFS.

研究の動機と目的

• より良い高周波表面ディテールの回復をニューラルレンダリングで3D監視なしで動機付ける。
• 変換された符号付き距離関数（SDF）に基づく透明性の定式化を導出・採用する。
• 粗・細の暗黙の変位フレームワークを提案し、基底と高周波表面ディテールを別々に学習する。
• 表面領域のアーティファクト周辺で最適化の焦点を調整する空間的に適応的な戦略を導入する。
• 複数視点ベンチマークと高周波ディテールシナリオにおいて、最先端の表面再構成を示す。

提案手法

• 符号付き距離関数（SDF）、体積密度、透明性、および体積レンダリングにおける重み付け関数の関係を導出し、monotonic sigmoid ベースの透明性関数 T(t)=1/(1+exp(-s f(r(t)))) を提案する。s は学習可能な傾きパラメータ。
• SDF を基底関数と暗黙の変位関数に分解して、低周波と高周波のジオメトリを別々に捕捉し、粗・細学習スキームと各成分の位置エンコーディングを用いる。
• 頻度制御付きの位置エンコーディングを用いた粗・細戦略を採用して高周波ディテールを徐々に導入し、基底 (fb) と変位 (fd) 関数を2つのMLPでモデリングし、適応サンプリングを行う。
• 透明性マッピングの勾配ノルムと学習された重み付けスキームから算出され、アーティファクトを伴う表面近傍領域に最適化を集中させる、SDF の勾配ノルムの沿-ray での表面関連領域に焦点を当てるための適応的で空間的に変化するスケール s を導入する。
• 基底および詳細 SDF の両方に対して、表面の一貫性と勾配ノルム制約を課す放射損失とアイコニアル正則化損失を用いて学習する。

実験結果

リサーチクエスチョン

• RQ1 透明性を変換された SDF として効果的にモデル化することは、表面再構成の品質を改善できるか。
• RQ2 SDF を基底と暗黙の変位関数に分解することで、3D 監視なしで高周波表面ディテールの回復を改善できるか。
• RQ3 粗・細の頻度制御トレーニングスキームは、ニューラル表面再構成における高周波ジオメトリの学習を安定させるか。
• RQ4 表面近傍での透明性の傾き s の空間的に適応的な最適化は、再構成の忠実度を改善するか。
• RQ5 DTU、NeRF-synthetic、BlendedMVS のベンチマークにおいて、HF-NeuS は Chamfer 距離と PSNR の面で NeuS および VolSDF と比較してどうか。

主な発見

• HF-NeuS は、高周波ディテールデータセットで NeuS および VolSDF よりも表面再構成品質が向上し（定性的・定量的な利得が観測された）。
• 変換-SDF ベースの透明性モデルは密度計算の離散化を簡素化し、逆CDF サンプリングを可能にし、レンダリング精度を支援する。
• 基底＋変位 SDF の分解と粗・細の周波数制御により、単一の SDF よりも高周波ディテールを効果的に学習できる。
• 適応的で空間的に変化するスロープパラメータ s は表面アーティファクト近傍の最適化を集中させ、局所忠実度を改善する。
• DTU、NeRF-synthetic、BlendedMVS の各データセットにおいて、HF-NeuS は PSNR を高く、Chamfer 距離を低く達成し、特に高周波ディテールシーンで顕著な改善を示す。