[논문 리뷰] ConsistentNeRF: Enhancing Neural Radiance Fields with 3D Consistency for Sparse View Synthesis

Shoukang Hu, Kaichen Zhou외 7명|arXiv (Cornell University)|2023. 05. 18.

Advanced Vision and Imaging인용 수 6

한 줄 요약

ConsistentNeRF는 깊이 기반 기하학과 깊이 불변 손실을 사용하여 다중화면 및 단일화면 3D 일관성을 강제하여 희소 시점 합성용 신경 레이디언스 필드를 향상시킨다. DTU, LLFF, NeRF Synthetic 벤치마크에서 기존 NeRF 대비 최대 94% 향상된 PSNR, 76% 향상된 SSIM, 31% 감소된 LPIPS를 달성한다.

ABSTRACT

Neural Radiance Fields (NeRF) has demonstrated remarkable 3D reconstruction capabilities with dense view images. However, its performance significantly deteriorates under sparse view settings. We observe that learning the 3D consistency of pixels among different views is crucial for improving reconstruction quality in such cases. In this paper, we propose ConsistentNeRF, a method that leverages depth information to regularize both multi-view and single-view 3D consistency among pixels. Specifically, ConsistentNeRF employs depth-derived geometry information and a depth-invariant loss to concentrate on pixels that exhibit 3D correspondence and maintain consistent depth relationships. Extensive experiments on recent representative works reveal that our approach can considerably enhance model performance in sparse view conditions, achieving improvements of up to 94% in PSNR, 76% in SSIM, and 31% in LPIPS compared to the vanilla baselines across various benchmarks, including DTU, NeRF Synthetic, and LLFF.

연구 동기 및 목표

• 부족한 감독 신호와 열악한 3D 일관성 학습으로 인해 NeRF 성능이 희소 시점 설정에서 열화되는 문제를 해결한다.
• NeRF 최적화 과정에서 다중화면 및 단일화면 3D 일관성을 명시적으로 모델링하여 재구성 품질을 향상시킨다.
• 이전 방법이 픽셀 수준의 색상 또는 깊이에만 초점을 맞추는 데 반해, 시야 간 기하 일관성을 통합함으로써 한계를 극복한다.
• 깊이 감독과 일관성 정규화를 통해 낮은 시점 수 조건에서도 견고한 새로운 시점 합성을 가능하게 한다.
• DTU, LLFF, NeRF Synthetic를 포함한 다양한 벤치마크에서 최신 기술 수준의 성능을 입증하며, 아키텍처 변경을 최소화한다.

제안 방법

• 사전 훈련된 MiDas 모델로부터 도출된 깊이 예측을 활용해 다중화면 3D 대응 마스크를 생성하여, 여러 시점에서 기하학적 일관성을 만족하는 픽셀을 식별한다.
• 마스크 기반 손실을 적용하여, 여러 시점에서 일관된 3D 투영을 가지는 픽셀에 더 높은 훈련 손실 가중치를 할당함으로써 기하학적으로 일관된 영역을 강조한다.
• 지역 이미지 패치 내에서 깊이 관계가 일관되게 유지되도록 강제하는 깊이 불변 손실 함수를 도입하여 단일화면 3D 일관성 정규화를 수행한다.
• 깊이 유도 기하 제약 조건을 사용해 최적화를 안정화하고, 희소 시점 환경에서의 과적합을 방지한다.
• 통합된 훈련 목표 함수 내에서 다중화면 및 단일화면 일관성 정규화를 결합하여 일반화 능력과 세부 사항 유지 능력을 향상시킨다.
• 희소 데이터 환경에서의 훈련 안정성과 일반화 능력을 향상시키기 위해, 0에서 1 사이의 균일 분포를 사용해 MLP의 편향 초기화를 수정한다.

실험 결과

연구 질문

• RQ1 다중화면 3D 일관성의 명시적 모델링이 희소 시점 설정에서 NeRF 성능 향상에 기여하는가?
• RQ2 깊이 불변 손실을 통한 단일화면 3D 일관성 통합이 재구성 품질과 일반화 능력에 어떤 영향을 미치는가?
• RQ3 다중화면 및 단일화면 3D 일관성의 조합이 기존의 깊이 정규화 NeRF 방법을 얼마나 뛰어넘는가?
• RQ4 훈련 시점이 제한된 상황에서 깊이 유도 기하 정보가 NeRF 최적화를 효과적으로 이끌 수 있는가?
• RQ5 3D 일관성 강제가 특히 훈련 시점에서 떨어진 시점에 대해 더 나은 일반화를 이끌어내는가?

주요 결과

• ConsistentNeRF는 기존 NeRF 대비 3시점 설정에서 DTU 데이터셋에서 최대 94% 향상된 PSNR를 달성한다.
• 다양한 벤치마크에서 SSIM은 최대 76% 향상되고 LPIPS는 31% 감소하여, 더 뛰어난 시각적 품질과 세부 사항 유지 능력을 보여준다.
• 다중화면 및 단일화면 3D 일관성 정규화를 모두 추가할 경우 최고의 성능을 기록하며, 제거 실험을 통해 각 구성 요소의 상호 보완적 이점이 확인된다.
• ConsistentNeRF는 정확한 조명과 기하학을 갖춘 더 선명한 이미지를 생성하여, 먼 목표 시점에서 MVSNeRF, GeoNeRF, ENeRF를 능가하는 시각적 품질을 제공한다.
• DTU, LLFF, NeRF Synthetic를 포함한 다양한 데이터셋에서 잘 일반화되며, 다양한 시나리오의 장면 복잡도와 시점 밀도에 대해 견고함을 입증한다.
• 수정된 MLP 편향 초기화를 통해 안정적인 훈련과 향상된 일반화를 달성하였으며, 이는 희소 설정에서 최적화 실패와 과적합을 감소시킨다.