[논문 리뷰] SPARF: Neural Radiance Fields from Sparse and Noisy Poses

Prune Truong, Marie‐Julie Rakotosaona외 2명|arXiv (Cornell University)|2022. 11. 21.

Advanced Vision and Imaging인용 수 5

한 줄 요약

SPARF는 잡음이 있는 촬영 자세를 가진 3개의 희소하고 광각 기준의 이미지에서 신경형 광선 장치(NeRF)를 훈련시키는 새로운 방법을 제안한다. 픽셀 대응 관계와 깊이 일관성 손실을 통해 다중 시점 기하학 제약 조건을 활용함으로써, SPARF는 NeRF와 촬영 자세를 동시에 최적화하여, DTU, LLFF, Replica 데이터셋에서 극도로 희소하고 자세에 노이즈가 있는 조건에서도 최신 기술 수준의 새로운 시점 합성 성능를 달성한다.

ABSTRACT

Neural Radiance Field (NeRF) has recently emerged as a powerful representation to synthesize photorealistic novel views. While showing impressive performance, it relies on the availability of dense input views with highly accurate camera poses, thus limiting its application in real-world scenarios. In this work, we introduce Sparse Pose Adjusting Radiance Field (SPARF), to address the challenge of novel-view synthesis given only few wide-baseline input images (as low as 3) with noisy camera poses. Our approach exploits multi-view geometry constraints in order to jointly learn the NeRF and refine the camera poses. By relying on pixel matches extracted between the input views, our multi-view correspondence objective enforces the optimized scene and camera poses to converge to a global and geometrically accurate solution. Our depth consistency loss further encourages the reconstructed scene to be consistent from any viewpoint. Our approach sets a new state of the art in the sparse-view regime on multiple challenging datasets.

연구 동기 및 목표

• 밀도 높은 시점과 정확한 자세가 확보되지 않는 실세계 환경에서 NeRF의 한계를 해결하기 위해.
• 잡음이 있는 촬영 자세를 가진 최소 3장의 광각 기준 이미지에서 사진 수준의 새로운 시점 합성을 가능하게 하기 위해.
• 기하학적 제약 조건을 활용하여 NeRF와 촬영 자세를 동시에 최적화하여 열악한 재구성 결과를 방지하기 위해.
• 기존 NeRF 및 자세 보정 방법이 실패하는 희소 시점 환경에서의 강건성과 일반화 능력을 향상시키기 위해.
• 완벽한 자세나 사전 훈련된 조건부 모델에 의존하지 않고, 다중 시점 간 기하학적 일관성에서 학습함으로써 제로샷 일반화를 가능하게 하기 위해.

제안 방법

• 사전 훈련된 매칭 모델(PDC-Net 등)을 사용하여 입력 시점 간 픽셀 대응 관계를 추출한다.
• NeRF 렌더링된 깊이와 추정된 자세를 활용하여 재투영 오차를 최소화하는 다중 시점 대응 손실을 도입한다.
• 훈련 시점의 렌더링된 깊이를 사용하여 새로운 시점에 대한 가짜 지상 참 깊이를 생성함으로써 깊이 일관성 손실을 활용한다.
• 모든 시점 간 기하학적 일관성을 강제함으로써, 종단 간 훈련을 통해 NeRF와 촬영 자세를 동시에 최적화한다.
• 다중 시점 기하학 원리를 활용하여 최적화 공간을 제한하고, 전역적으로 일관된 해에 수렴하도록 보장한다.
• 장면의 형상에 대한 사전 지식이나 조건부 모델을 사용하지 않으며, 새로운 장면에 대해 제로샷 일반화가 가능하다.

실험 결과

연구 질문

• RQ1 잡음이 있는 촬영 자세를 가진 3장의 이미지로만 훈련된 NeRF가 고해상도의 새로운 시점 합성을 달성할 수 있는가?
• RQ2 다중 시점 간 기하학적 일관성이 희소 시점 환경에서 NeRF 최적화에 기여하는가?
• RQ3 픽셀 매칭 기반의 다중 시점 대응 손실이 개별 이미지 손실보다 더 나은 자세 보정을 이끌 수 있는가?
• RQ4 지상 참 깊이 없이도 깊이 일관성 손실이 새로운 시점에서의 렌더링 품질 향상에 기여하는가?
• RQ5 사전 훈련된 조건부 모델이나 완벽한 자세에 의존하지 않고도 희소 시점에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• SPARF는 DTU 데이터셋에서 기존 최고 성능을 갱신했으며, 3장의 입력 시점과 노이즈가 있는 자세로 20.20 PSNR, 0.63 SSIM, 0.24 FID를 기록했다.
• LLFF 데이터셋에서는 MVSNeRF와 같은 조건부 모델을 포함한 모든 베이스라인을 압도하며, 3장의 입력 시점으로 23.35 PSNR와 0.74 SSIM을 달성했다.
• Replica 데이터셋에서는 초기 자세가 COLMAP를 통해 노이즈 있는 매칭으로 추정되더라도, 정확한 깊이를 반영한 현실적인 새로운 시점 렌더링을 생성했다.
• SPARF는 희소 환경에서 표준 NeRF 및 BARF보다 뚜렷하게 뛰어난 성능을 보였으며, DTU에서 NeRF의 19.08 PSNR와 0.59 SSIM 대비 24.40 PSNR와 0.77 SSIM을 기록했다.
• 깊이 일관성 손실은 모든 시점 방향에서 일관성을 강제함으로써 기하학적 잡음 감소에 기여하며, 렌더링 품질 향상에 기여한다.
• 자세에 15% 가우시안 노이즈가 가해진 상황에서도 SPARF는 뛰어난 성능을 유지하여 자세 정확도 부족에 대한 강건성을 입증했다.