[논문 리뷰] BID-NeRF: RGB-D image pose estimation with inverted Neural Radiance Fields

Ágoston István Csehi, Csaba M. Józsa|arXiv (Cornell University)|2023. 10. 05.

Advanced Vision and ImagingComputer Science인용 수 3

한 줄 요약

BID-NeRF는 iNeRF를 확장하여 깊이 기반 손실, 다중 이미지 최적화 및 계층적 샘플링 제거를 통해 이미지 자세 추정 성능을 향상시켰으며, 블렌더 데이터셋에서 2–4배 빠른 수렴 속도와 2.5배 높은 성공률을 달성했고, 초기 자세 오차가 큰 경우에도 성능을 유지를 하였다.

ABSTRACT

We aim to improve the Inverted Neural Radiance Fields (iNeRF) algorithm which defines the image pose estimation problem as a NeRF based iterative linear optimization. NeRFs are novel neural space representation models that can synthesize photorealistic novel views of real-world scenes or objects. Our contributions are as follows: we extend the localization optimization objective with a depth-based loss function, we introduce a multi-image based loss function where a sequence of images with known relative poses are used without increasing the computational complexity, we omit hierarchical sampling during volumetric rendering, meaning only the coarse model is used for pose estimation, and we how that by extending the sampling interval convergence can be achieved even or higher initial pose estimate errors. With the proposed modifications the convergence speed is significantly improved, and the basin of convergence is substantially extended.

연구 동기 및 목표

• 큰 초기 자세 오차 하에서 iNeRF 기반 이미지 자세 추정의 수렴 속도와 강건성을 향상시키기 위해.
• iNeRF의 제한된 수렴 영역 문제를 깊이 감독과 다중 이미지 제약 조건을 통합하여 해결하기 위해.
• 계층적 샘플링을 제거함으로써 계산 오버헤드를 줄이면서도 정확도를 유지하거나 향상시키기 위해.
• 로봇 공학 및 SLAM과 같은 실시간 응용 분야에 실용적으로 구현할 수 있도록 최적화 효율성을 향상시키기 위해.

제안 방법

• 자세 최적화 중에 NeRF 모델이 예측한 깊이를 활용하는 깊이 기반 손실 함수를 도입하였다.
• 이미지 시퀀스를 사용하여 상대적 자세가 알려진 최적화 목표를 확장함으로써, 계산 비용을 증가시키지 않고도 수렴 성능을 향상시켰다.
• 오직 군집된 NeRF 모델만을 사용하여 계층적 샘플링을 제거함으로써 추론 시간과 메모리 사용량을 반으로 줄였다.
• 수렴 성능을 향상시키기 위해 샘플링 간격을 최적화하였다.
• 가능한 부피 렌더링을 사용하여 렌더링된 이미지 및 깊이 예측에서 기울기를 초기 자세 파라미터로 역전파하였다.
• 색상과 깊이 손실을 사용하여 적응형 학습률을 적용한 1차 최적화를 통해 자세 추정을 반복적으로 개선하였다.

실험 결과

연구 질문

• RQ1 깊이 감독은 iNeRF의 이미지 자세 추정에서 수렴 속도와 강건성을 향상시킬 수 있는가?
• RQ2 상대적 자세가 알려진 다중 이미지를 사용할 경우, 계산 복잡도를 증가시키지 않고도 수렴 영역을 넓힐 수 있는가?
• RQ3 계층적 샘플링을 제거함으로써 정확도를 유지하거나 향상시키면서도 추론 시간을 크게 줄일 수 있는가?
• RQ4 샘플링 간격을 연장함으로써 큰 초기 자세 오차 상황에서 수렴 성능을 얼마나 향상시킬 수 있는가?
• RQ5 다양한 초기 자세 오차 상황에서 BID-NeRF는 iNeRF에 비해 수렴 속도와 성공률 측면에서 얼마나 우수한가?

주요 결과

• BID-NeRF는 블렌더 데이터셋에서 최적화 단계 1000회 이후 이동 오차와 회전 오차 모두 95%의 수렴 비율을 달성했으며, iNeRF는 각각 38%와 42%에 그쳤다.
• 초기 오차 크기에 따라 수렴 속도가 2–4배 향상되었으며, 맨-위트니 U 검정을 통해 통계적으로 유의미한 향상(𝑝 < 10⁻⁴)이 확인되었다.
• 계층적 샘플링 제거로 인해 최적화 단계당 추론 시간이 2배 감소했고, 정확도에 영향을 주지 않았다.
• 다중 이미지 손실의 적용으로 수렴 영역이 넓어졌으며, 특히 높은 초기 자세 오차에서 효과적이었다.
• 고려대 초기 오차 상황에서 BID-NeRF는 600–800회 반복 내에 수렴했고, RTX 3090에서 AdaNeRF를 사용하여 1회 추정에 5–6초 내외의 실시간 성능을 달성했다.
• 이 방법은 NeRF 모델에 종속되지 않으며, 빠른 NeRF 실행 구현과 호환되어 로봇 공학 및 SLAM 시스템에서 실용적인 구현이 가능하다.