[논문 리뷰] PlaNeRF: SVD Unsupervised 3D Plane Regularization for NeRF Large-Scale Scene Reconstruction

Fusang Wang, Arnaud Louys외 4명|arXiv (Cornell University)|2023. 05. 26.

Advanced Vision and Imaging인용 수 5

한 줄 요약

PlaNeRF는 3D 감독 없이 대규모 도시 환경에서 3D 기하 구조 복원을 향상시키기 위해 비지도 학습 기반 SVD 기반 평면 정규화 방법을 도입한다. 체적 밀도 초기화에 패치 기반 SSIM을 활용하고, NeRF의 암묵적 기하 구조에 SVD를 사용해 평면 일致성을 강제함으로써 KITTI-360에서 최신 기하 정확도를 달성하면서도 경쟁 가능한 렌더링 품질을 유지한다.

ABSTRACT

Neural Radiance Fields (NeRF) enable 3D scene reconstruction from 2D images and camera poses for Novel View Synthesis (NVS). Although NeRF can produce photorealistic results, it often suffers from overfitting to training views, leading to poor geometry reconstruction, especially in low-texture areas. This limitation restricts many important applications which require accurate geometry, such as extrapolated NVS, HD mapping and scene editing. To address this limitation, we propose a new method to improve NeRF's 3D structure using only RGB images and semantic maps. Our approach introduces a novel plane regularization based on Singular Value Decomposition (SVD), that does not rely on any geometric prior. In addition, we leverage the Structural Similarity Index Measure (SSIM) in our loss design to properly initialize the volumetric representation of NeRF. Quantitative and qualitative results show that our method outperforms popular regularization approaches in accurate geometry reconstruction for large-scale outdoor scenes and achieves SoTA rendering quality on the KITTI-360 NVS benchmark.

연구 동기 및 목표

• 저문 텍스처, 대규모 실외 환경(예: 도시 주행 환경)에서 NeRF의 기하 구조 복원 능력 열악함을 해결하기 위해.
• LiDAR나 메시와 같은 3D 감독 없이도 NeRF의 기하 정밀도를 향상시키기 위해.
• 사전 표면 법선 또는 기하 사전 지식을 가정하지 않는 평면 정규화 방법을 개발하기 위해.
• RGB 이미지와 세분화 맵만을 사용해 도로와 같은 평탄한 표면을 정확하고 부드럽게 복원하기 위해.
• 어려운 실외 환경에서 기하 구조의 무결성을 크게 향상시키면서도 경쟁 가능한 렌더링 품질을 달성하기 위해.

제안 방법

• 사람의 레이 특징 행렬의 특이값 분해를 이용해 NeRF의 암묵적 3D 표현에 평면 일관성을 강제하는 새로운 SVD 기반 평면 정규화 손실($\mathcal{L}_{\text{SVD}}$)을 도입한다.
• NeRF의 체적 밀도를 초기화하기 위해 패치 기반 구조적 유사도 지수(Structural Similarity Index Measure, SSIM) 손실($\mathcal{L}_{\text{dSSIM}}$)를 활용하여 초기 기하 구조를 향상시킨다.
• 세분화 마스크를 통해 평면으로 식별된 영역에만 SVD 기반 정규화를 적용하여 저문 텍스처 영역(예: 도로 표면)에 집중한다.
• 외부 기하 사전 지식이나 법선 추정에 의존하지 않고, NeRF의 초기 기하 구조를 기반으로 SVD를 계산한다.
• $\mathcal{L}_{\text{SVD}}$와 $\mathcal{L}_{\text{dSSIM}}$를 공동 최적화하여 기하 구조와 렌더링 품질을 동시에 향상시킨다.
• SVD 손실을 PyTorch에 구현하였으며, 작은 행렬에 대해 CPU 오프로딩이 발생하여 학습 속도가 44% 감소하는 성능 흐름이 있다.

실험 결과

연구 질문

• RQ1 3D 감독 없이도 비지도 학습 기반 평면 정규화가 저문 텍스처, 대규모 도시 환경에서 NeRF의 기하 구조를 향상시킬 수 있는가?
• RQ2 표면 법선 사전 지식이 없을 경우 SVD 기반 정규화가 평면 기하를 얼마나 효과적으로 강제할 수 있는가?
• RQ3 패치 기반 SSIM 손실이 NeRF의 초기 기하 추정에 기여하여 후속 복원 품질을 향상시키는가?
• RQ4 실제 주행 벤치마크에서 기존 기하 정규화 방법과 비교해 PlaNeRF는 기하 정확도와 렌더링 품질 측면에서 어떻게 성능을 내는가?
• RQ5 이 방법은 무한대에 이르는 실외 환경으로 일반화 가능하며, 저문 텍스처 영역에 대해서도 안정성을 유지하는가?

주요 결과

• KITTI-360 벤치마크에서 PlaNeRF는 가장 낮은 카프먼 거리(CD: 9.6)와 $\text{P}_{\sigma}$(4.6)를 기록하여 평탄한 표면에서 뛰어난 기하 정확도를 확보했다.
• PSNR 22.90과 SSIM 0.857을 기록하여 렌더링 품질 측면에서 최고 수준의 성능를 보였고, 기하 구조 향상도 뚜렷했다.
• 제거 실험 결과 $\mathcal{L}_{\text{SVD}}$를 제거하면 CD가 2.2 증가하고 $\text{P}_{\sigma}$가 10.4 증가하여 이 손실이 기하 향상에 핵심적인 역할을 함을 확인했다.
• $\mathcal{L}_{\text{dSSIM}}$ 손실은 초기화 향상에 기여하여 이 손실을 제거했을 경우 PSNR 하락 폭이 0.28 감소했고, SSIM은 0.837에서 0.857로 향상되었다.
• 정성적 결과에서는 PlaNeRF가 기준 모델 대비 더 매끄럽고 평탄한 도로 표면을 생성하는 것으로 나타났다. 이는 평면 정규화가 부족한 기준 모델가 노이즈가 많고 뒤틀린 표면을 생성하기 때문이다.
• SVD 계산에서 비효율적인 CPU 오프로딩으로 인해 학습 속도가 44% 감소했지만, 여전히 대규모 환경 복원에 실용적이고 효과적인 것으로 확인되었다.