[논문 리뷰] NoPe-NeRF: Optimising Neural Radiance Field with No Pose Prior

Wenjing Bian, Zirui Wang외 3명|arXiv (Cornell University)|2022. 12. 14.

Advanced Vision and Imaging인용 수 7

한 줄 요약

NoPe-NeRF는 원형 RGB 시퀀스에서 카메라 포즈 없이도 신경 레디언스 필드(Neural Radiance Fields)와 카메라 포즈를 동시에 최적화하는 엔드 투 엔드 미분 가능한 방법을 제안한다. 큰 카메라 이동 상황에서도 안정적인 포즈 추정을 위해 왜곡되지 않은 단안 깊이 사전 지식을 활용한다. 깊이 맵의 스케일 및 시프트 매개변수를 명시적으로 최적화하고, 프레임 간 카메라 거리 기반 손실과 표면 기반 광학적 손실을 도입함으로써, 실제 실내 및 실외 시퀀스에서 최신 기준 대비 뛰어난 새로운 시점 합성 성능과 포즈 정확도를 달성한다.

ABSTRACT

Training a Neural Radiance Field (NeRF) without pre-computed camera poses is challenging. Recent advances in this direction demonstrate the possibility of jointly optimising a NeRF and camera poses in forward-facing scenes. However, these methods still face difficulties during dramatic camera movement. We tackle this challenging problem by incorporating undistorted monocular depth priors. These priors are generated by correcting scale and shift parameters during training, with which we are then able to constrain the relative poses between consecutive frames. This constraint is achieved using our proposed novel loss functions. Experiments on real-world indoor and outdoor scenes show that our method can handle challenging camera trajectories and outperforms existing methods in terms of novel view rendering quality and pose estimation accuracy. Our project page is https://nope-nerf.active.vision.

연구 동기 및 목표

• 초기 카메라 포즈가 없는 상황에서, 특히 큰 또는 동적인 카메라 운동이 발생할 경우 NeRF 학습에 도전하는 문제를 해결하기 위해.
• 포즈 제약 조건이 부족하고 형상-광원의 모호성이 존재하는 포즈 없는 NeRF 학습에서 발생하는 불안정성과 느린 수렴 문제를 해결하기 위해.
• NeRF 최적화 파이프라인에 단안 깊이 사전 지식을 통합하여 포즈 추정 정확도와 새로운 시점 합성 품질을 향상시키기 위해.
• SfM나 SLAM 파이프라인에 의존하지 않도록, 원시 RGB 시퀀스에서 NeRF와 카메라 포즈를 동시에 최적화할 수 있는 엔드 투 엔드 미분 가능한 최적화를 가능하게 하기 위해.

제안 방법

• NeRF 학습 중 각 단안 깊이 맵에 대해 스케일 및 시프트 매개변수를 명시적으로 최적화하여 왜곡을 보정하고 다중 시점 일관성 있는 깊이 맵을 생성하기 위해.
• 접근 프레임 간 깊이 맵 간 카메라 거리 기반 손실을 도입하여 최적화 과정에 상대적 포즈 제약 조건을 통합하기 위해.
• NeRF 표면에서 광학 일관성을 강제로 적용하는 깊이 기반 표면 렌더링 손실을 적용하여 포즈 추정을 추가로 정규화하기 위해.
• 이러한 새로운 손실들을 표준 NeRF 렌더링 손실과 결합하여 신경 레디언스 필드와 카메라 포즈를 엔드 투 엔드로 미분 가능한 방식으로 동시에 최적화하기 위해.
• 다중 시점 스테레오나 카메라 파라미터 입력이 필요 없도록, 경량 단안 깊이 추정을 기하학적 사전 지식으로 활용하기 위해.

실험 결과

연구 질문

• RQ1 카메라 포즈가 사전에 제공되지 않을 경우, 단안 깊이 사전 지식을 효과적으로 활용하여 NeRF 학습을 안정화시킬 수 있는가?
• RQ2 NeRF 최적화 과정 중 원시 단안 깊이 예측에서 다중 시점 일관성 있는 왜곡되지 않은 깊이 맵을 어떻게 생성할 수 있는가?
• RQ3 프레임 간 상대적 포즈 제약 조건은 큰 카메라 이동 상황에서 공동 NeRF 및 포즈 최적화의 정확도와 강건성에 얼마나 기여하는가?
• RQ4 기존 NeRF 학습 대비 깊이 기반 표면 렌더링을 통합할 경우, 포즈 추정 및 새로운 시점 합성 품질이 향상되는가?

주요 결과

• NoPe-NeRF는 ScanNet에서 평균 PSNR 31.86, Tanks and Temples에서 26.73을 기록하여 COLMAP+NeRF 및 기타 최신 기준 방법보다 뛰어난 새로운 시점 합성 품질을 달성한다.
• ScanNet에서 평균 상대 포즈 오차(RPE)를 이동 방향으로 0.181, 회전 방향으로 0.031로 감소시켜 기존 기준 대비 포즈 정확도를 크게 향상시켰다.
• 제거 실험 결과, 스케일/시프트 최적화를 제거할 경우 RPE가 2배 이상 증가하여 깊이 왜곡 보정의 핵심적 역할을 입증하였다.
• 프레임 간 카메라 거리 기반 손실($L_{pc}$)과 표면 광학 손실($L_{rgb-s}$)이 포즈 추정 향상의 주요 원동력이며, 이들을 제거할 경우 RPE가 2배 이상 증가하였다.
• 단일 단계의 NoPe-NeRF 방법은 이중 단계의 Ours-r 버전보다 우수한 성능을 보였으며, 깊이 사전 지식을 통합한 엔드 투 엔드 최적화가 순차적 보정보다 더 효과적임을 시사한다.
• 저조도 및 회전 중심의 운동이 지배적인 도전적인 시퀀스에서, NoPe-NeRF는 COLMAP의 실패 모드를 피하고 아티팩트 없는 새로운 시점 합성을 생성하였다.