[논문 리뷰] Depth-supervised NeRF: Fewer Views and Faster Training for Free

Kangle Deng, Andrew Liu외 2명|arXiv (Cornell University)|2021. 07. 06.

Advanced Vision and Imaging참고 문헌 38인용 수 45

한 줄 요약

Depth-supervised NeRF (DS-NeRF)은 구조-에서 얻은 희소 깊이 데이터를 활용해 NeRF를 감독하여, 더 적은 시점으로도 더 나은 시점 합성 및 2–3배 빠른 학습을 가능하게 한다.

ABSTRACT

A commonly observed failure mode of Neural Radiance Field (NeRF) is fitting incorrect geometries when given an insufficient number of input views. One potential reason is that standard volumetric rendering does not enforce the constraint that most of a scene's geometry consist of empty space and opaque surfaces. We formalize the above assumption through DS-NeRF (Depth-supervised Neural Radiance Fields), a loss for learning radiance fields that takes advantage of readily-available depth supervision. We leverage the fact that current NeRF pipelines require images with known camera poses that are typically estimated by running structure-from-motion (SFM). Crucially, SFM also produces sparse 3D points that can be used as "free" depth supervision during training: we add a loss to encourage the distribution of a ray's terminating depth matches a given 3D keypoint, incorporating depth uncertainty. DS-NeRF can render better images given fewer training views while training 2-3x faster. Further, we show that our loss is compatible with other recently proposed NeRF methods, demonstrating that depth is a cheap and easily digestible supervisory signal. And finally, we find that DS-NeRF can support other types of depth supervision such as scanned depth sensors and RGB-D reconstruction outputs.

연구 동기 및 목표

• 희소 뷰에서의 NeRF 학습 동기 부여 및 강한 사전 정보가 없을 때 잘못된 기하를 맞추는 경향

제안 방법

• COLMAP 키포인트에 고정된 NeRF 광선 종결 깊이를 깊이 불확실성을 고려하여 감독하는 깊이 감독 손실을 정의한다.
• 광선 종결 분포 h(t)를 T(t)σ(t)로 모델링하고 그것이 광선 깊이에 대한 확률 분포를 근사하는지 보인다.
• 깊이로 유도된 분포와 NeRF 광선 종결 분포 간의 KL 발산을 최소화하는 깊이 손실 L_Depth를 도출하고, 이는 깊이 샘플에 대한 합으로 근사된다.
• 색상 손실 L_Color와 L_Depth를 결합한 공동 목적 함수 L = L_Color + λ_D L_Depth를 제시한다.
• 깊이 감독은 보완적이며 기존의 NeRF 기반 방법 및 RGB-D 확장에 끼워 맞출 수 있음을 보인다.

Figure 2 : Few view NeRF. NeRF is susceptible to overfitting when given few training views. As seen by the PSNR gap between train and test renders (left), NeRF has overfit and fails at synthesizing novel views. Further, the depth map (right) and depth error (middle) for NeRF suggest that its density

실험 결과

연구 질문

• RQ1 희소 COLMAP 키포인트에서의 깊이 감독이 few views 조건에서 NeRF 성능을 향상시키는가?
• RQ2 DS-NeRF가 학습 속도를 가속하면서 렌더링 품질을 유지하거나 향상시키는가?
• RQ3 깊이 감독이 다른 NeRF 변형 및 깊이 소스(RGB-D, 깊이 센서)와 호환되는가?
• RQ4 깊이 감독이 테스트 뷰에서 깊이 추정 정확도에 어떤 영향을 미치는가?

주요 결과

• DS-NeRF는 적은 학습 뷰로도 더 나은 이미지를 렌더링하며, 일반 NeRF보다 2–3배 빠르게 학습할 수 있다.
• 깊이 감독은 테스트 뷰에서 깊이 오차를 줄여 기하 복원을 개선한다.
• KL 발산 기반의 깊이 손실은 MSE 기반 깊이 감독보다 왜곡이 덜 발생하는 경향이 있다.
• DS-NeRF는 RGB-D 또는 RGB-D에서 파생된 깊이 감독을 사용할 때도 효과적이며, 더 촘촘한 깊이 사전 정보를 가능하게 한다.
• DS-NeRF 및 그 변종은 NeRF Real, DTU, Redwood 데이터셋에서 few-view 설정에서 베이스라인보다 우수하다.

Figure 3 : Ray Termination Distribution. (a) We plot various NeRF components over the distance traveled by the ray. Even if a ray traverses through multiple objects (as indicated by the multiple peaks of density $\sigma(t)$ ), we find that the ray termination distribution $h(t)$ is still unimodal. W