[논문 리뷰] SPIDR: SDF-based Neural Point Fields for Illumination and Deformation

Ruofan Liang, Jiahao Zhang외 4명|arXiv (Cornell University)|2022. 10. 15.

Advanced Vision and Imaging인용 수 12

한 줄 요약

SPIDR는 고해상도 기하학적 변형과 물리적으로 정확한 조명 업데이트를 가능하게 하는 SDF 기반 신경 포인트 필드를 위한 하이브리드 접근법을 제안한다. 명시적인 포인트 클라우드 조작과 신경 암시적 SDF, 실影 매핑을 결합함으로써 변형 이후에도 현실적인 재조명과 그림자 효과를 구현하며, 정량적 및 정성적 지표에서 기존의 NeRF 기반 방법들을 능가한다.

ABSTRACT

Neural radiance fields (NeRFs) have recently emerged as a promising approach for 3D reconstruction and novel view synthesis. However, NeRF-based methods encode shape, reflectance, and illumination implicitly and this makes it challenging for users to manipulate these properties in the rendered images explicitly. Existing approaches only enable limited editing of the scene and deformation of the geometry. Furthermore, no existing work enables accurate scene illumination after object deformation. In this work, we introduce SPIDR, a new hybrid neural SDF representation. SPIDR combines point cloud and neural implicit representations to enable the reconstruction of higher quality object surfaces for geometry deformation and lighting estimation. meshes and surfaces for object deformation and lighting estimation. To more accurately capture environment illumination for scene relighting, we propose a novel neural implicit model to learn environment light. To enable more accurate illumination updates after deformation, we use the shadow mapping technique to approximate the light visibility updates caused by geometry editing. We demonstrate the effectiveness of SPIDR in enabling high quality geometry editing with more accurate updates to the illumination of the scene.

연구 동기 및 목표

• 세밀한 기하학적 변형, 즉 강체 및 비강체 변환을 포함한 NeRF 편집 문제를 해결하기 위해.
• 기존 NeRF 방법이 모델링하지 못하는, 물체 변형 이후 정확한 조명 및 그림자 업데이트를 가능하게 하기 위해.
• 좌표 기반 MLP를 통해 환경 조명을 명시적으로 추정하여 시점 재조명 성능을 향상시키기 위해.
• NeRF의 암시적 표현 방식의 한계를 보완하기 위해, 편집 가능성과 표면 품질 향상을 위해 하이브리드 포인트 클라우드 및 신경 SDF 표현 방식을 도입하기 위해.

제안 방법

• SPIDR는 포인트 클라우드와 SDF를 결합한 하이브리드 신경 암시 표현 방식을 사용하여 명시적 편집 가능성과 함께 고품질 3D 기하학을 복원한다.
• 환경 조명을 모델링하기 위해 좌표 기반 MLP를 활용하여 재조명에 적합한 정확한 조명 추정을 가능하게 한다.
• 변형 이후 조명 업데이트를 위해 SPIDR는 NeRF로 추정한 깊이 맵을 사용하여 빛의 가시성 변화를 근사하기 위해 실영 매핑을 적용한다.
• 기하학적 편집은 직접적인 포인트 클라우드 조작 또는 뼈대 기반 케이지에 의한 메쉬 유도 변형을 통해 수행된다.
• 업데이트된 조명과 그림자를 포함한 물리 기반 렌더링(PBR)을 사용하여 변형된 시점의 이미지를 합성한다.
• SDF 품질 향상과 표면 복원 정밀도 향상을 위해 새로운 정규화 기법을 도입한다.

실험 결과

연구 질문

• RQ1 하이브리드 신경 SDF 표현 방식은 NeRF 기반 3D 복원에서 더 효과적이고 명시적인 기하학적 편집을 가능하게 할 수 있는가?
• RQ2 물체 변형으로 인한 변화를 반영하기 위해 환경 조명을 정확하게 추정하고 업데이트할 수 있는가?
• RQ3 실영 매핑을 통해 변형 이후의 가시성 변화를 효과적으로 근사하여 현실적인 그림자 효과를 구현할 수 있는가?
• RQ4 명시적 기하학적 편집과 동적 조명 추정을 결합함으로써 암시적 NeRF 편집 방식보다 더 높은 품질의 렌더링 결과를 얻을 수 있는가?
• RQ5 제안된 방법은 기존 최첨단 기술 대비 기하학적 복원 및 재조명 성능 모두에서 더 뛰어난 성능을 달성할 수 있는가?

주요 결과

• SPIDR는 변형된 매노이크 시나리오에서 PSNR 32.93을 기록했고, T-Rex 시나리오에서는 33.47를 기록하여 Deforming-NeRF와 NVDiffRec 모두를 초월했다.
• 기존 연구 대비 LPIPS가 30-50% 감소하여 더 정확한 시각적 정밀도를 확보한 더 정확한 렌더링을 나타낸다.
• 정규화 추정에 대해 평균 MAE 0.015, 거칠기 추정에 대해 0.040을 기록하여 표면 성질 예측의 정확도를 입증했다.
• 실영 매핑의 사용으로 변형 이후에 현실적인 그림자 업데이트가 가능해졌으며, 정성적 결과에서 정확한 음영 변화가 관찰되었다.
• 재조명 시 SPIDR의 환경 조명 추정치는 실제값과 매우 유사했으며, 시각적 결과에서 일관되고 자연스러운 조명 변화가 나타났다.
• SPIDR의 PBR 렌더링은 비-PBR 기반 모델 대비 더 현실적인 결과를 도출했으며, 특히 복잡한 조명 환경에서 LPIPS는 낮고 PSNR는 높았다.