[논문 리뷰] Structure-Aware NeRF without Posed Camera via Epipolar Constraint

Shu Chen, Yang Zhang외 2명|arXiv (Cornell University)|2022. 10. 01.

Advanced Vision and Imaging인용 수 5

한 줄 요약

이 논문은 사전에 알려진 자세가 필요 없이 신경 렌디언스 필드와 카메라 외부 파라미터를 동시에 최적화하는 구조 인식 NeRF 방법인 SaNeRF를 제안한다. 서로 다른 시야 간의 SIFT 특징 매칭에 에피포라 제약 조건을 적용함으로써, 뷰 합성 품질과 카메라 자세 추정 정확도를 향상시키는 엔드 투 엔드 학습을 가능하게 하며, ScanNet 및 LLFF-NeRF 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

The neural radiance field (NeRF) for realistic novel view synthesis requires camera poses to be pre-acquired by a structure-from-motion (SfM) approach. This two-stage strategy is not convenient to use and degrades the performance because the error in the pose extraction can propagate to the view synthesis. We integrate the pose extraction and view synthesis into a single end-to-end procedure so they can benefit from each other. For training NeRF models, only RGB images are given, without pre-known camera poses. The camera poses are obtained by the epipolar constraint in which the identical feature in different views has the same world coordinates transformed from the local camera coordinates according to the extracted poses. The epipolar constraint is jointly optimized with pixel color constraint. The poses are represented by a CNN-based deep network, whose input is the related frames. This joint optimization enables NeRF to be aware of the scene's structure that has an improved generalization performance. Extensive experiments on a variety of scenes demonstrate the effectiveness of the proposed approach. Code is available at https://github.com/XTU-PR-LAB/SaNerf.

연구 동기 및 목표

• NeRF 기반의 새로운 뷰 합성에서 사전 계산된 카메라 자세에 대한 의존성을 제거하기 위해.
• 기하학적 제약 조건을 통한 시점 구조 인식을 통합하여 NeRF의 일반화 능력을 향상시키기 위해.
• 오직 RGB 이미지만을 사용하여 NeRF와 카메라 자세 추정을 엔드 투 엔드로 학습하기 위해.
• 기존의 두 단계로 나누어지는 NeRF 파이프라인에서 SfM 기반 자세 추정의 정확도 저하로 인한 오류 전파를 줄이기 위해.
• 광학 일致성과 에피포라 기하학을 활용하여 강력한 자기 지도 3D 재구성 가능성을 확보하기 위해.

제안 방법

• 이 방법은 이미지 쌍 간의 대응점들을 식별하기 위해 SIFT 특징 검출을 사용한다.
• 에피포라 제약 조건이 적용되어, 서로 다른 시야에서 매칭된 SIFT 특징은 전역 공간에서 동일한 3D 좌표를 가져야 한다.
• 관련 이미지 프레임을 입력으로 받아 카메라 외부 파라미터를 예측하는 CNN이 사용된다.
• 에피포라 제약 조건은 엔드 투 엔드 학습 중 픽셀 색상 복원 손실과 함께 함께 최적화된다.
• 전역 3D 좌표는 추정된 외부 파rameter를 사용하여 국소 카메라 좌표계에서 변환하여 계산된다.
• 전체 시스템은 엔드 투 엔드로 학습되며, 시점 표현과 카메라 자세 추정 간 상호 개선이 가능해진다.

실험 결과

연구 질문

• RQ1 사전에 알려진 카메라 자세에 의존하지 않고도 NeRF가 정확한 새로운 뷰 합성을 달성할 수 있는가?
• RQ2 SIFT 매칭에 에피포라 제약 조건을 적용하면 NeRF의 일반화 능력과 구조 인식 능력이 향상되는가?
• RQ3 NeRF와 카메라 자세를 함께 최적화하는 것이 SfM 기반 파이프라인에서 별도 최적화하는 것보다 더 나은 성능을 내는가?
• RQ4 SIFT 매칭이 실패하는 희박하거나 무늬가 없는 영역이 있는 시점에서 이 방법은 어떻게 작동하는가?
• RQ5 시작 시 랜덤으로 초기화된 경우에도 이 방법이 정확한 카메라 궤적을 수렴할 수 있는가?

주요 결과

• SaNeRF는 ScanNet 데이터셋의 scene 0553에서 PSNR 33.69, scene 0158에서 PSNR 33.12를 기록하여 NeRF 및 기타 베이스라인을 초월했다.
• LLFF-NeRF 데이터셋에서 'Flower' 시점의 ATE(Absolute Trajectory Error)는 0.000788로 감소하여 NeRF-의 기준값 0.011보다 크게 낮아졌다.
• 학습 약 100,000 에포크 후, 카메라 자세 추정치가 COLMAP 기반 궤적 쪽으로 수렴하는 것으로 확인되어 안정적인 최적화를 보였다.
• 충분한 SIFT 매칭이 존재하는 시점들(예: scene 0079, 0158, 0553)에서는 PSNR와 SSIM 모두에서 최신 기술 수준의 성능을 달성했다.
• 반복적인 구조(예: scene 0316)와 무늬가 없는 영역에서는 실패를 보이며 광학적 모호성 하에서의 한계를 드러냈다.
• 공동 최적화 전략은 상호 개선을 가능하게 했으며, 더 나은 자세 추정이 더 높은 품질의 뷰 합성으로 이어지고, 그 반대도 마찬가지로 성립했다.