[論文レビュー] Ref-NeuS: Ambiguity-Reduced Neural Implicit Surface Learning for Multi-View Reconstruction with Reflection

Wenhang Ge, Tao Hu+3 more|arXiv (Cornell University)|Mar 20, 2023

3D Surveying and Cultural Heritage被引用数 4

ひとこと要約

Ref-NeuS は、反射物体のマルチビュー3D再構築のための新しいニューラルインクリメント表面学習フレームワークを提案し、反射を考慮したフォトメトリック損失により曇りを低減する。この損失は、異常検出による反射スコアで制御される分散を持つガウス分布としてレンダリング色をモデル化する。さらに、反射方向に依存する放射度を用いることで幾何学的精度を向上させ、Shiny Blender データセットにおいて 0.46 の再構築精度（MAE: 0.91）を達成し、SOTA の性能を実現した。

ABSTRACT

Neural implicit surface learning has shown significant progress in multi-view 3D reconstruction, where an object is represented by multilayer perceptrons that provide continuous implicit surface representation and view-dependent radiance. However, current methods often fail to accurately reconstruct reflective surfaces, leading to severe ambiguity. To overcome this issue, we propose Ref-NeuS, which aims to reduce ambiguity by attenuating the effect of reflective surfaces. Specifically, we utilize an anomaly detector to estimate an explicit reflection score with the guidance of multi-view context to localize reflective surfaces. Afterward, we design a reflection-aware photometric loss that adaptively reduces ambiguity by modeling rendered color as a Gaussian distribution, with the reflection score representing the variance. We show that together with a reflection direction-dependent radiance, our model achieves high-quality surface reconstruction on reflective surfaces and outperforms the state-of-the-arts by a large margin. Besides, our model is also comparable on general surfaces.

研究の動機と目的

• マルチビュー3D再構築における反射表面の曇りのある幾何学的再構築という重要な課題に取り組む。
• 複数ビューの一貫性の破綻により、従来のニューラルインクリメント手法が反射表面を処理できなくなる問題を克服する。
• 表面の外観を物理的に分解することに依存せずに、曇りを低減する手法を開発する。
• より良い放射度モデリングと損失重み付けを用いて、反射物体における表面法線の精度とレンダリングの現実性を向上させる。
• 統一的かつエンドツーエンドのフレームワークを用いて、反射表面および一般の表面の両方で SOTA の再構築品質を達成する。

提案手法

• 可視画像からのマルチビューの文脈を活用して反射領域を局所化する異常検出器を用いた反射スコア推定モジュールを導入する。
• レンダリング色をガウス分布としてモデル化する反射を考慮したフォトメトリック損失を設計し、反射スコアを分散として用い、反射ピクセルの影響を弱める。
• 各表面点に対して可視なソースビューからの色のみを考慮することで、バイアスのない反射スコア推定を実現する可視性特定を用いる。
• 標準のビュー依存放射度を反射方向に依存する放射度に置き換えることで、放射度場の品質と幾何学的精度を向上させる。
• 微分可能なガウス損失を用いてエンドツーエンドで学習し、幾何学、法線、外観を同時に最適化可能にする。
• 適応的重み付けを用いたマルチビュー一貫性を活用し、幾何学的構造を保持しながら反射への感受性を低減する。

Figure 1: Our ambiguity-reduced framework significantly improves explicit surfaces geometry, surface normals and rendering realism for modeling reflective surfaces compared to NeuS and Ref-NeRF. Reconstruction accuracy (lower is better), surface normal mean angular error, i.e., MAE (lower is better)

実験結果

リサーチクエスチョン

• RQ1 マルチビュー一貫性が本質的に損なわれる反射表面に対して、ニューラルインクリメント表面学習をどのようにして頑健に保てるようにできるか？
• RQ2 物理的分解された表面成分に依存せずに、反射に起因する曇りを効果的に低減できるか？
• RQ3 マルチビューの文脈は、損失重み付けに使用する反射スコアの正確な推定にどのような役割を果たすか？
• RQ4 標準のビュー依存放射度と比較して、反射方向に依存する放射度は幾何学的および表面法線推定をどのように改善するか？
• RQ5 反射を考慮した損失と方向に依存する放射度を組み合わせることで、反射物体の再構築品質はどの程度向上するか？

主な発見

• Ref-NeuS は Shiny Blender データセットにおいて再構築精度 0.46（低いほど良い）と平均角誤差（MAE）0.91 を達成し、NeuS（1.69, 1.77） や Ref-NeRF より顕著に優れた性能を示した。
• アブレーションスタディの結果、可視性を考慮した反射スコア推定と反射方向に依存する放射度の組み合わせが最良のパフォーマンスをもたらし、ベースラインの NeuS と比較して MAE を 45% 減少させた。
• 反射スコアで分散をモデル化した反射を考慮したフォトメトリック損失は、反射ピクセルの影響を軽減し、より正確な表面幾何学と法線をもたらした。
• モデルが得た改善された表面法線は、より高い PSNR をもたらし、少ない光線数でも Ref-NeRF よりも現実的なレンダリングを実現した。
• 非反射表面に対しても強力な性能を維持しており、反射物体に限らない汎用性を示した。
• 両方のコンポーネント（反射を考慮した損失と方向に依存する放射度）を含む完全なモデルが最良の結果を達成しており、両者の相乗効果を証明した。

Figure 2: An overview of our framework. We propose a reflection-aware photometric loss to address the ambiguity induced by reflection. This loss attenuates the importance of reflective surfaces by lowering the weights of reflective pixels. Our loss relies on the estimated reflection score to localiz