[논문 리뷰] NerfingMVS: Guided Optimization of Neural Radiance Fields for Indoor Multi-view Stereo

Yi Wei, Shaohui Liu외 4명|arXiv (Cornell University)|2021. 09. 02.

Advanced Vision and Imaging참고 문헌 57인용 수 11

한 줄 요약

이 논문은 실내 환경에서 형상-광원성 혼동 문제를 해결하기 위해 시나리오 적응형 단안 깊이 사전 지식을 활용해 신경 레이디언스 필드(NeRF) 최적화를 안내하는 새로운 다중 시점 깊이 추정 방법인 NerfingMVS를 제안한다. 희박한 SfM+MVS 재구성에서 깊이 네트워크를 미세조정하고, 그 예측 결과를 NeRF의 볼륨 렌더링 샘플링에 제약 조건으로 사용함으로써, 최신 기준 성능을 달성하고 시각 합성 품질도 향상시킨다. 이는 상응하는 기반 및 표준 NeRF 최적화 방법보다 뛰어난 성능을 발휘한다.

ABSTRACT

In this work, we present a new multi-view depth estimation method that utilizes both conventional reconstruction and learning-based priors over the recently proposed neural radiance fields (NeRF). Unlike existing neural network based optimization method that relies on estimated correspondences, our method directly optimizes over implicit volumes, eliminating the challenging step of matching pixels in indoor scenes. The key to our approach is to utilize the learning-based priors to guide the optimization process of NeRF. Our system firstly adapts a monocular depth network over the target scene by finetuning on its sparse SfM+MVS reconstruction from COLMAP. Then, we show that the shape-radiance ambiguity of NeRF still exists in indoor environments and propose to address the issue by employing the adapted depth priors to monitor the sampling process of volume rendering. Finally, a per-pixel confidence map acquired by error computation on the rendered image can be used to further improve the depth quality. Experiments show that our proposed framework significantly outperforms state-of-the-art methods on indoor scenes, with surprising findings presented on the effectiveness of correspondence-based optimization and NeRF-based optimization over the adapted depth priors. In addition, we show that the guided optimization scheme does not sacrifice the original synthesis capability of neural radiance fields, improving the rendering quality on both seen and novel views. Code is available at https://github.com/weiyithu/NerfingMVS.

연구 동기 및 목표

• 실내 환경에서 NeRF 기반 깊이 추정의 형상-광원성 혼동 문제로 인해 기하학적 정확도가 제한되는 문제를 해결하기 위해.
• 상응하는 기반 기반의 방법에 의존하지 않고 학습 기반 깊이 사전 지식을 직접 NeRF 최적화에 통합하여 다중 시점 깊이 추정을 향상시키기 위해.
• 기존의 가정과는 반대로, 깊이 사전 지식을 활용한 NeRF 볼륨에 대한 직접 최적화가 상응 기반 최적화보다 우수한 성능을 내는지 입증하기 위해.
• 기존 SfM+MVS 재구성 결과를 감독 신호로 활용하여 깊이 추정 및 새로운 시각 합성 품질을 향상시키기 위해.
• 적응형 깊이 사전 지식이 본래의 시각 합성 능력을 훼손하지 않은 채, 본래의 시각과 새로운 시각 모두에서 NeRF의 렌더링 정확도를 향상시킬 수 있는지 입증하기 위해.

제안 방법

• COLMAP에서 제공하는 희박한 SfM+MVS 재구성 결과를 기반으로 대상 시나리오의 깊이 네트워크를 미세조정하여 시나리오별 깊이 사전 지식을 생성한다.
• 적응형 깊이 사전 지식을 활용해 NeRF 볼륨 렌더링 동안의 샘플링 과정을 안내함으로써 기하학적 및 광원성의 혼동을 줄인다.
• 렌더링된 이미지와 진짜 RGB 이미지 간의 사진학적 오차를 기반으로 픽셀 단위의 신뢰도 맵을 구성하여 깊이 예측을 정밀하게 보완한다.
• 추정된 상응점이나 재투영 손실에 의존하지 않고 암묵적인 3D 볼륨에 직접 최적화를 수행한다.
• 신뢰도 맵을 활용해 후처리 단계에서 신뢰할 수 없는 예측을 억제함으로써 깊이 맵 품질을 향상시킨다.
• 샘플링 과정의 다양성과 정밀도를 균형 잡기 위해 적응형 샘플링 경계(α_l 및 α_h)를 적용하여 최적화의 안정성을 향상시킨다.

실험 결과

연구 질문

• RQ1 형상-광원성 혼동이 내재된 실내 환경에서 학습 기반 깊이 사전 지식이 NeRF 기반 깊이 추정 성능을 크게 향상시킬 수 있는가?
• RQ2 깊이 사전 지식을 활용한 NeRF 볼륨에 대한 직접 최적화가 실내 MVS 환경에서 상응 기반 최적화 프레임워크를 초월할 수 있는가?
• RQ3 기존의 SfM+MVS 재구성 결과 통합이 NeRF에서 깊이 추정 및 새로운 시각 합성 품질을 향상시킬 수 있는가?
• RQ4 왜 실내 환경에서 상응점이 정확하지 않을 경우 상응 기반 최적화가 성능을 떨어뜨리는가?
• RQ5 가이드된 NeRF 최적화가 본래의 시각과 새로운 시각 모두에서 렌더링 품질을 얼마나 향상시킬 수 있는가?

주요 결과

• NerfingMVS는 실내 다중 시점 깊이 추정 벤치마크에서 최신 기준 성능을 달성했으며, ScanNet 데이터셋에서 PSNR 30.55, SSIM 0.948의 성능을 기록했다.
• 모든 테스트 시나리오에서 NeRF(PSNR: 29.19, SSIM: 0.928) 및 NSVF, SVS와 같은 다른 최신 기준 방법보다 뚜렷한 성능 향상을 보였다.
• 가이드된 최적화로 본래의 NeRF(PSNR: 28.62, SSIM: 0.909)보다 본래의 시각에서의 시각 합성 품질이 향상되어 PSNR 31.55, SSIM 0.942를 달성했다.
• 놀랍게도, 적응형 깊이 사전 지식에 상응 기반 최적화를 적용하면 성능이 악화되며, 이는 실내 환경에서 상응점이 정확하지 않을 경우 이러한 방법이 신뢰할 수 없음을 시사한다.
• 적응형 샘플링 경계(α_l 및 α_h)는 샘플링의 다양성과 정밀도를 균형 잡는 데 기여하여 과도한 집중이나 무작위성 방지를 통해 성능 향상에 기여한다.
• 가이드된 최적화 방식은 원래 NeRF의 시각 합성 능력을 유지하면서도 기하학적 정확도를 향상시켜, 기존 재구성 방법과 신경 암묵 표현 방식의 융합이 효과적임을 입증한다.