[논문 리뷰] Density Uncertainty Quantification with NeRF-Ensembles: Impact of Data and Scene Constraints

Miriam Jäger, Steven Landgraf외 1명|arXiv (Cornell University)|2023. 12. 22.

Optical measurement and interference techniques인용 수 4

한 줄 요약

이 논문은 신경 렌디언스 필드(NeRF) 내 밀도 불확실성을 정량화하기 위해 NeRF-Ensembles를 제안하며, 3차원 재구성의 강인성 향상과 사후 처리를 통한 아티팩트 제거를 가능하게 한다. 별도로 초기화된 다수의 NeRF를 훈련시킴으로써 밀도 예측의 분산을 통해 불확실성을 추정하고, 소음과 안개 같은 아티팩트를 감소시키며 평균 밀도 출력을 통해 구조적 완전성을 향상시킨다.

ABSTRACT

In the fields of computer graphics, computer vision and photogrammetry, Neural Radiance Fields (NeRFs) are a major topic driving current research and development. However, the quality of NeRF-generated 3D scene reconstructions and subsequent surface reconstructions, heavily relies on the network output, particularly the density. Regarding this critical aspect, we propose to utilize NeRF-Ensembles that provide a density uncertainty estimate alongside the mean density. We demonstrate that data constraints such as low-quality images and poses lead to a degradation of the training process, increased density uncertainty and decreased predicted density. Even with high-quality input data, the density uncertainty varies based on scene constraints such as acquisition constellations, occlusions and material properties. NeRF-Ensembles not only provide a tool for quantifying the uncertainty but exhibit two promising advantages: Enhanced robustness and artifact removal. Through the utilization of NeRF-Ensembles instead of single NeRFs, small outliers are removed, yielding a smoother output with improved completeness of structures. Furthermore, applying percentile-based thresholds on density uncertainty outliers proves to be effective for the removal of large (foggy) artifacts in post-processing. We conduct our methodology on 3 different datasets: (i) synthetic benchmark dataset, (ii) real benchmark dataset, (iii) real data under realistic recording conditions and sensors.

연구 동기 및 목표

• 데이터 및 시나리오 제약 조건이 NeRF 기반 3차원 재구성에서 밀도 불확실성에 미치는 영향을 조사하는 것.
• 단일 NeRF와 비교하여 NeRF-Ensembles의 강인성 향상 및 아티팩트 감소 성능을 평가하는 것.
• 특히 안개 같은 아티팩트와 겹치는 아티팩트를 제거하기 위해 밀도 불확실성의 사후 처리 응용을 탐색하는 것.
• 이미지 품질, 자세 정확도, 음영, 재질 특성 등의 요소가 훈련 성능과 불확실성에 미치는 영향을 규명하는 것.
• 최적의 데이터 및 촬영 조건을 통합하여 고품질 3차원 재구성을 위한 최선의 실천 방법을 수립하는 것.

제안 방법

• 독립적으로 무작위로 초기화된 다수의 NeRF를 훈련시켜 앙상블 구성원 간의 분산을 통해 밀도 불확실성을 추정하는 다중 구성원 NeRF-Ensemble 훈련.
• 앙상블 구성원 간의 평균 밀도를 사용하여 더 강인하고 완전한 3차원 재구성을 생성함으로써 소규모 이격점과 소음을 감소시킴.
• 밀도 불확실성에 백분위수 기반 임계값을 적용하여 고불확실성 볼록체를 식별하고 제거함으로써 사후 처리에서 큰(안개 같은) 아티팩트를 효과적으로 제거.
• 입력 데이터에 이미지 노이즈(σ_Im)와 자세 노이즈(σ_t, σ_R, σ_t,R)를 주입하여 데이터 제약 조건의 영향을 평가하고 PSNR 및 불확실성에 미치는 영향 분석.
• 시나리오 제약 조건인 시야 커버리지 갭, 음영, 재질 특성(예: 반사성)이 3차원 공간 내 불확실성 분포에 미치는 영향 분석.
• 일반화 성능을 검증하기 위해 합성 데이터, 실제 기준 데이터셋, 현실적인 촬영 조건 하의 실제 세계 데이터에 대한 실험 수행.

Figure 1: Flowchart of the methodology: Input data are the images and corresponding camera poses. A NeRF-Ensemble with a total number of M members is trained. The NeRF-Ensemble provides an average network output with mean density values over all NeRFs in the ensemble and a corresponding density unce

실험 결과

연구 질문

• RQ1 이미지 노이즈와 자세 노이즈는 NeRF의 훈련 성능과 밀도 불확실성에 어떤 영향을 미치는가?
• RQ2 음영, 낮은 시야 커버리지, 반사성 재질과 같은 시나리오 수준의 제약 조건은 NeRF 재구성에서 밀도 불확실성에 어떤 영향을 미치는가?
• RQ3 NeRF-Ensembles를 사용할 경우 단일 NeRF와 비교해 재구성 강인성이 얼마나 향상되는가?
• RQ4 NeRF-Ensembles에서 도출된 밀도 불확실성 정량화는 사후 처리에서 아티팩트 제거를 효과적으로 이끌 수 있는가?
• RQ5 밀도 불확실성을 최소화하고 재구성 품질을 극대화하기 위한 최적의 데이터 및 촬영 조건는 무엇인가?

주요 결과

• 이동 노이즈(σ_t), 회전 노이즈(σ_R), 그 조합(σ_t,R)은 PSNR를 크게 떨어뜨리며 밀도 불확실성을 증가시키지만, 이미지 노이즈(σ_Im)는 PSNR를 감소시키지만 반드시 불확실성을 증가시키진 않는다.
• 고품질 입력 데이터를 사용하더라도, 음영 또는 커버리지가 낮은 영역에서는 촬영 조건과 반사성 등의 재질 특성으로 인해 밀도 불확실성이 증가한다.
• NeRF-Ensembles의 평균 밀도 출력은 소규모 이격점과 소음을 감소시키며, 단일 NeRF보다 더 매끄럽고 완전한 재구성을 가능하게 한다.
• 밀도 불확실성에 백분위수 기반 임계값을 적용하면 사후 처리에서 큰(안개 같은) 아티팩트를 효과적으로 제거할 수 있으며, 이는 시각적 품질과 기하학적 정확도를 크게 향상시킨다.
• 고품질의 자세 정보는 비노이즈 이미지보다 밀도 불확실성을 최소화하는 데 더 중요하며, NeRF 파ip라인에서 정확한 카메라 캘리브레이션의 중요성을 강조한다.
• NeRF-Ensembles는 신뢰할 수 있는 불확실성 정량화를 제공하여 강인성 향상과 타겟된 아티팩트 제거를 동시에 가능하게 하며, 추가적인 훈련 비용을 정당화한다.