[論文レビュー] SPIDR: SDF-based Neural Point Fields for Illumination and Deformation

Ruofan Liang, Jiahao Zhang+4 more|arXiv (Cornell University)|Oct 15, 2022

Advanced Vision and Imaging被引用数 12

ひとこと要約

SPIDRは、SDFに基づくニューラルポイントフィールドをハイブリッドに組み合わせた3次元再構成のための手法であり、高精度なジオメトリ変形と物理的に正確な照明更新を可能にする。明示的なポイントクラウド操作とニューラル暗黙的SDF、シャドウマッピングを統合することで、変形後のリアルなリライトとシャドウイングを実現し、定量的および定性的な指標において従来のNeRFベースの手法を上回る性能を発揮する。

ABSTRACT

Neural radiance fields (NeRFs) have recently emerged as a promising approach for 3D reconstruction and novel view synthesis. However, NeRF-based methods encode shape, reflectance, and illumination implicitly and this makes it challenging for users to manipulate these properties in the rendered images explicitly. Existing approaches only enable limited editing of the scene and deformation of the geometry. Furthermore, no existing work enables accurate scene illumination after object deformation. In this work, we introduce SPIDR, a new hybrid neural SDF representation. SPIDR combines point cloud and neural implicit representations to enable the reconstruction of higher quality object surfaces for geometry deformation and lighting estimation. meshes and surfaces for object deformation and lighting estimation. To more accurately capture environment illumination for scene relighting, we propose a novel neural implicit model to learn environment light. To enable more accurate illumination updates after deformation, we use the shadow mapping technique to approximate the light visibility updates caused by geometry editing. We demonstrate the effectiveness of SPIDR in enabling high quality geometry editing with more accurate updates to the illumination of the scene.

研究の動機と目的

• NeRFの微細なジオメトリ変形（剛体および非剛体変換を含む）を編集する課題に対処すること。
• 従来のNeRF手法がモデル化に失敗する、物体変形後の正確な照明およびシャドウの更新を可能にすること。
• 座標ベースのMLPを用いて環境照明を明示的に推定することで、シーンのリライトを改善すること。
• NeRFにおける暗黙的表現の限界を克服し、編集可能性と表面品質の両方を向上させるために、ハイブリッドなポイントクラウドとニューラルSDF表現を導入すること。

提案手法

• SPIDRは、ポイントクラウドとSDFを組み合わせたハイブリッドニューラル暗黙的表現を用い、明示的な編集可能性を備えた高品質な3次元ジオメトリ再構成を実現する。
• 環境照明をモデル化するために座標ベースのMLPを採用し、リライトに適した正確な照明推定を可能にする。
• 変形後の照明更新のため、SPIDRはNeRFで推定された深度マップを用いて、光の可視性変化を近似するシャドウマッピングを適用する。
• ジオメトリ編集は、直接的なポイントクラウド操作またはリグドケージを用いたメッシュガイド付き変形によって実施される。
• 更新された照明およびシャドウイングを伴う物理ベースレンダリング（PBR）を用いて、変形後のシーンビューを合成する。
• SDFの品質と表面再構成の忠実度を向上させるために、新しい正則化スキームを導入する。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッドニューラルSDF表現は、NeRFベースの3次元再構成におけるより効果的で明示的なジオメトリ編集を可能にするか？
• RQ2 物体変形に起因する変化を反映するため、環境照明を正確に推定・更新する方法は何か？
• RQ3 シャドウマッピングは、変形後のリアルなシャドウイングを近似するために効果的に使用できるか？
• RQ4 明示的なジオメトリ編集と動的照明推定を組み合わせることで、暗黙的NeRF編集に比べてより高品質なレンダリング出力を得られるか？
• RQ5 提案手法は、従来の最先端手法と比較して、ジオメトリ再構成およびリライトの両面で優れた性能を達成できるか？

主な発見

• SPIDRは、変形したマネキンシーンでPSNR 32.93、T-RexシーンでPSNR 33.47を達成し、両指標でDeforming-NeRFおよびNVDiffRecを上回った。
• 先行研究と比較してLPIPSが30〜50％低減され、視覚的忠実度が向上したより直感的なレンダリングを示した。
• 法線推定の平均MAEは0.015、ラフネス推定の平均MAEは0.040を記録し、表面特性の正確な予測を示した。
• シャドウマッピングの導入により、変形後のリアルなシャドウ更新が可能となり、定性的な結果では正しい遮蔽変化が再現された。
• リライトの際、SPIDRが推定した環境光は真値に近く、視覚的結果では一貫性があり妥当な照明変化が再現された。
• SPIDRのPBRレンダリングは、非PBRベースラインと比較してより現実的な結果を生み出し、特に複雑な照明シナリオにおいてLPIPSが低く、PSNRが高かった。