[논문 리뷰] DARF: Depth-Aware Generalizable Neural Radiance Field

Yue Shi, Dingyi Rong외 4명|arXiv (Cornell University)|2022. 12. 05.

Advanced Vision and Imaging인용 수 7

한 줄 요약

이 논문은 per-scene 최적화 없이도 실시간 신규 시점 합성과 비지도 깊이 추정을 가능하게 하는 기하학적 인지가 가능한 일반화된 신경 렌디언스 필드인 GARF를 제안한다. 기하학적 인지가 가능한 동적 샘플링(GADS) 전략과 다중 수준 의미 일致 손실을 도입함으로써, 최신 기술 대비 샘플링 포인트를 25% 이상 줄이며 렲영 품질과 3D 기하학 추정 성능을 향상시킨다.

ABSTRACT

Neural Radiance Field (NeRF) has revolutionized novel-view rendering tasks and achieved impressive results. However, the inefficient sampling and per-scene optimization hinder its wide applications. Though some generalizable NeRFs have been proposed, the rendering quality is unsatisfactory due to the lack of geometry and scene uniqueness. To address these issues, we propose the Depth-Aware Generalizable Neural Radiance Field (DARF) with a Depth-Aware Dynamic Sampling (DADS) strategy to perform efficient novel view rendering and unsupervised depth estimation on unseen scenes without per-scene optimization. Distinct from most existing generalizable NeRFs, our framework infers the unseen scenes on both pixel level and geometry level with only a few input images. By introducing a pre-trained depth estimation module to derive the depth prior, narrowing down the ray sampling interval to the proximity space of the estimated surface, and sampling in expectation maximum position, we preserve scene characteristics while learning common attributes for novel-view synthesis. Moreover, we introduce a Multi-level Semantic Consistency loss (MSC) to assist with more informative representation learning. Extensive experiments on indoor and outdoor datasets show that compared with state-of-the-art generalizable NeRF methods, DARF reduces samples by 50%, while improving rendering quality and depth estimation. Our code is available on https://github.com/shiyue001/GARF.git.

연구 동기 및 목표

• 기존의 신경 렌디언스 필드가 신규 시점 합성과 깊이 추정에서 효율성이 떨어지고 일반화 능력이 떨어지는 문제를 해결하기 위해.
• per-scene 최적화 없이도 소수의 입력 이미지만으로도 새로운 시점에서 정확한 렌더링과 기하학 추정을 가능하게 하기 위해.
• 다양한 시점 간의 공통된 특성 학습과 동시에 시점별 특성을 유지함으로써 일반화 능력을 향상시키기 위해.
• 기하학적 인지가 반영된 동적 샘플링 전략을 통해 샘플링 복잡도와 추론 시간을 감소시키기 위해.
• 다중 수준 의미 일치 손실을 통해 특징 표현 학습을 향상시켜 더 높은 렌더링 정밀도를 확보하기 위해.

제안 방법

• 비지도 깊이 추정을 이용해 추정된 표면 포인트 근처로 레이 샘플링을 좁히는 기하학적 인지가 가능한 동적 샘플링(GADS) 전략을 도입한다.
• 막힘 현상을 완화하고 특징 표현을 향상시키기 위해 포인트 수준에서 학습 가능한 다중 시점 특징 융합 모듈을 활용한다.
• 샘플링을 안내하기 위한 굵은 기하학을 유도하기 위해 인코더-디코더 구조와 자기지도 기반 깊이 추정 모듈을 사용한다.
• 제약된 샘플링 간격 내에서 예측-다듬기 전략을 적용하여 점진적으로 표면 포인트를 식별한다.
• 픽셀 수준과 의미적 특징 매칭을 통합한 다중 수준 의미 일치(MSC) 손실을 도입하여 표현 학습을 향상시킨다.
• 표준 NeRF 스타일의 부피 렌더링 파이프라인을 사용해 융합된 특징을 밀도와 색상으로 디코딩한다.

실험 결과

연구 질문

• RQ1 일반화된 NeRF 모델이 per-scene 최적화 없이도 새로운 시점에서 고해상도의 렌더링과 정확한 깊이 추정을 달성할 수 있는가?
• RQ2 렌더링 품질과 기하학 추정 성능을 유지하거나 향상시키면서도 샘플링 효율성을 어떻게 향상시킬 수 있는가?
• RQ3 샘플링 과정에 기하학적 인지 능력을 통합할 경우, 균일하거나 고정된 샘플링 전략에 비해 성능 향상 정도는 어느 정도인가?
• RQ4 다중 수준 의미 일치 손실이 특징 표현 향상과 렌더링의 현실감 향상에 얼마나 효과적인가?
• RQ5 샘플링 포인트 수를 줄일 경우 샘플링 효율성과 렌더링 품질 사이의 상충 관계는 어떻게 나타나는가?

주요 결과

• GARF는 최신 기술 대비 25% 이상 샘플링 포인트를 줄였으며, DTU 및 LLFF 데이터셋 모두에서 더 높은 PSNR 성능을 달성한다.
• DTU 데이터셋에서 GARF는 48+48개 샘플링 포인트로도 PSNR 28.80을 기록하여 128개 포인트를 사용하는 기존 방법들보다 PSNR와 SSIM 측면에서 모두 뛰어난 성능을 보였다.
• LLFF 데이터셋에서 GARF는 샘플링 포인트를 50% 줄였고, 기준 방법 대비 PSNR를 6% 향상시켰다.
• GADS 전략은 일반적인 NeRF 샘플링 방식 대비 렌더링에 대해 6% 이상의 PSNR 향상을, 깊이 추정에 대해 평균 11.5% 향상을 기록했다.
• 다중 수준 의미 일치(MSC) 손실은 특히 윤곽선 및 얇은 선 영역에서 이미지의 현실감과 일관성을 크게 향상시켰으며, LPIPS 감소와 SSIM 향상으로써 이를 입증했다.
• 파rameter 분석 결과 최적 성능는 샘플링 간격 Δd = 0.8에서 달성되었으며, 20개 샘플링 포인트로도 128포인트 방법과 유사한 이미지 품질을 확보하여 높은 효율성을 입증했다.