[논문 리뷰] CBARF: Cascaded Bundle-Adjusting Neural Radiance Fields from Imperfect Camera Poses

Hongyu Fu, Xin Yu외 2명|arXiv (Cornell University)|2023. 10. 15.

Advanced Vision and ImagingComputer Science인용 수 3

한 줄 요약

CBARF는 다단계 백터 조정(BA)을 거쳐 반복적으로 자세를 개선하는 계단식 이웃 치환 전략을 제안하여, 신경 렌디언스 필드(NeRF)에서 정확하지 않거나 누락된 카메라 자세를 최적화함으로써, 큰 자세 노이즈나 부분적인 자세 입력 조건에서도 신뢰할 수 있는 신규 시점 합성 품질을 크게 향상시킨다. 학습 중 진짜 자세를 사용하지 않아도 되므로 실제 이미지 컬렉션에 적용 가능한 실용적인 성능을 달성하며, 자세 최적화 및 시점 합성 분야에서 최신 기술 수준의 성능을 기록한다.

ABSTRACT

Existing volumetric neural rendering techniques, such as Neural Radiance Fields (NeRF), face limitations in synthesizing high-quality novel views when the camera poses of input images are imperfect. To address this issue, we propose a novel 3D reconstruction framework that enables simultaneous optimization of camera poses, dubbed CBARF (Cascaded Bundle-Adjusting NeRF).In a nutshell, our framework optimizes camera poses in a coarse-to-fine manner and then reconstructs scenes based on the rectified poses. It is observed that the initialization of camera poses has a significant impact on the performance of bundle-adjustment (BA). Therefore, we cascade multiple BA modules at different scales to progressively improve the camera poses. Meanwhile, we develop a neighbor-replacement strategy to further optimize the results of BA in each stage. In this step, we introduce a novel criterion to effectively identify poorly estimated camera poses. Then we replace them with the poses of neighboring cameras, thus further eliminating the impact of inaccurate camera poses. Once camera poses have been optimized, we employ a density voxel grid to generate high-quality 3D reconstructed scenes and images in novel views. Experimental results demonstrate that our CBARF model achieves state-of-the-art performance in both pose optimization and novel view synthesis, especially in the existence of large camera pose noise.

연구 동기 및 목표

• NeRF와 BARF가 3차원 재구성 과정에서 정확하지 않거나 누락된 카메라 자세를 다루는 데에 한계를 보이는 문제를 해결하기 위해.
• 카메라 자세가 큰 노이즈에 의해 손상되거나 일부가 가용하지 않을 경우 신경 렌디언스 필드의 강건성을 향상시키기 위해.
• 학습 중에 진짜 자세를 요구하지 않는 자세 최적화 프레임워크를 개발하여, 신뢰할 수 없는 자세 추정치를 가진 실제 이미지 컬렉션에 실용적으로 적용할 수 있도록 하기 위해.
• 계단식 BA와 새로운 이웃 치환 전략을 통해 카메라 자세를 점진적으로 개선함으로써 신규 시점 합성 품질을 향상시키기 위해.

제안 방법

• CBARF는 각 단계에서 이전 단계의 최적화된 자세를 초기값으로 사용하는, 작고 효율적인 백터 조정(BA) 모듈의 군집형 계단식 구조를 사용하여 카메라 자세를 점진적으로 개선한다.
• BA 이후에 잘못 추정된 카메라 자세를 식별하기 위해 새로운 기준을 도입하였으며, 이는 渲색된 이미지 품질을 기반으로 하며 비최대 억제 기법으로 보강된다.
• 이웃 치환 전략은 잘못 추정된 자세를 이웃 시점의 자세로 대체하여 자세 오차를 추가로 감소시키고 시나리오의 일관성을 향상시킨다.
• 자세 최적화 이후 고해상도 3차원 시나리오 재구성과 신규 시점 렌더링을 위해 밀도 볼록 격자(density voxel grid)를 사용한다.
• 카메라 자세 최적화는 학습 중에 진짜 자세 지도 없이 광학적 손실(photometric loss)을 통해 자기지도 학습(self-supervised) 방식으로 수행된다.
• 평가 시점에 최적화된 자세를 진짜 자세와 정렬하기 위해 프로크루스테스 분석(Procrustes analysis)을 적용한다.

실험 결과

연구 질문

• RQ1 초기 자세가 노이즈가 많거나 정확하지 않을 경우, 계단식 백터 조정 프레임워크가 NeRF에서 카메라 자세 최적화를 향상시킬 수 있는가?
• RQ2 학습 중에 진짜 자세 지도 없이 잘못된 카메라 자세를 어떻게 식별하고 수정할 수 있는가?
• RQ3 이웃 카메라 자세로의 치환 전략이 자세 개선과 신규 시점 합성 품질 향상에 어느 정도 기여하는가?
• RQ4 COLMAP이 일부 이미지에 대해 자세를 추정하지 못하는 경우와 같이 카메라 자세가 누락된 상황에서 이 방법은 어떻게 성능을 발휘하는가?
• RQ5 어려운 실제 환경 조건에서도 자세 최적화와 시점 합성 양 측면에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• CBARF는 자세 최적화 분야에서 최신 기술 수준의 성능을 기록하며, 큰 자세 노이즈 조건에서도 기준 모델인 BARF와 심지어 COLMAP를 초월한다. 이는 NeRF-synthetic 데이터셋에서 입증되었다.
• 10%의 카메라 자세가 누락된 BlendedMVS 데이터셋에서 CBARF는 BARF보다 더 높은 품질의 렌더링 이미지를 생성하여, 암묵적 자세 최적화 능력이 뛰어나다는 것을 보여준다.
• 이웃 치환 전략은 특히 BA가 수렴하지 못하는 영역에서 잘못 추정된 자세를 이웃 시점의 자세로 대체함으로써 자세 오차를 효과적으로 감소시킨다.
• 적응형 단계 수를 가진 계단식 BA 설계는 단일 단계 BA에 비해 과적합을 방지하고 계산 비용을 절감한다.
• PSNR, LPIPS 등의 렌더링 품질 지표는 CBARF가 생성한 신규 시점 이미지가 노이즈가 많거나 자세가 누락된 입력 조건에서도 실제 이미지와 시각적·정량적으로 유사하다는 것을 보여준다.
• 프로크루스테스 정렬을 통해 전역 자세 오프셋에 대한 강건성을 입증하였으며, 학습 중 지도 없이도 정확한 자세 오차 계산이 가능하다.