[논문 리뷰] Multi-tiling Neural Radiance Field (NeRF) -- Geometric Assessment on Large-scale Aerial Datasets

Ningli Xu, Rongjun Qin외 2명|arXiv (Cornell University)|2023. 10. 01.

Advanced Vision and Imaging참고 문헌 57인용 수 5

한 줄 요약

이 논문은 NeRF를 사용한 대규모 항공 3D 재구성의 가용성과 확장성을 향상시키기 위한 확장 가능한 프레임워크인 멀티타일링 신경 렌즈 필드(MCT-NeRF)를 제안한다. 큰 이미지를 위치 기반 샘플링과 다중 카메라 모델링을 통해 타일화된 하위 영역으로 분해함으로써 메모리 사용량을 줄이고 수렴 속도를 높이며, 기존의 사진측량 MVS 파이프라인에 비해 더 뛰어난 기하학적 완전성과 세부 정보를 달성한다. 다만 정확도는 LiDAR 기준에 못 미친다.

ABSTRACT

Neural Radiance Fields (NeRF) offer the potential to benefit 3D reconstruction tasks, including aerial photogrammetry. However, the scalability and accuracy of the inferred geometry are not well-documented for large-scale aerial assets,since such datasets usually result in very high memory consumption and slow convergence.. In this paper, we aim to scale the NeRF on large-scael aerial datasets and provide a thorough geometry assessment of NeRF. Specifically, we introduce a location-specific sampling technique as well as a multi-camera tiling (MCT) strategy to reduce memory consumption during image loading for RAM, representation training for GPU memory, and increase the convergence rate within tiles. MCT decomposes a large-frame image into multiple tiled images with different camera models, allowing these small-frame images to be fed into the training process as needed for specific locations without a loss of accuracy. We implement our method on a representative approach, Mip-NeRF, and compare its geometry performance with threephotgrammetric MVS pipelines on two typical aerial datasets against LiDAR reference data. Both qualitative and quantitative results suggest that the proposed NeRF approach produces better completeness and object details than traditional approaches, although as of now, it still falls short in terms of accuracy.

연구 동기 및 목표

• NeRF의 대규모 항공 사진측량에서의 확장성과 메모리 제약 문제를 해결하기 위해.
• 대규모 항공 데이터셋에서 NeRF 학습 시 GPU/메모리 소비를 줄이고 수렴 속도를 향상시키기 위해.
• LiDAR를 기준으로 삼아 기존 사진측량 MVS 파이프라인과 비교해 NeRF의 기하학적 정확도와 완전성을 평가하기 위해.
• 지역 기반 효율적인 학습을 가능하게 하면서도 기하학적 정밀도를 유지하는 타일링 전략을 개발하기 위해.

제안 방법

• 장면 내 공간적 관련성을 기반으로 훈련 레이의 우선순위를 정하는 위치 기반 샘플링 기법을 도입한다.
• 큰 프레임 항공 이미지를 각각 독립된 카메라 모델을 갖는 다수의 작은 타일로 나누는 다중 카메라 타일링(MCT) 전략을 제안한다.
• Mip-NeRF에 MCT 전략을 적용하여, 각 영역에 해당하는 타일만 처리함으로써 GPU에서 국소화된 효율적인 학습을 가능하게 한다.
• 타일 기반 추론을 적용하여 전체 장면을 한 번에 메모리에 저장하지 않고도 고해상도 3D 기하 구조를 재구성한다.
• 각 타일 내에서 체계적인 샘플링 기법을 적용하여 볼륨 렌더링 품질과 수렴 속도를 향상시킨다.
• 기하학적 평가를 위해 LiDAR를 기준으로 삼아 두 개의 대규모 항공 데이터셋에서 방법을 검증한다.

실험 결과

연구 질문

• RQ1 NeRF는 금전적 비용이나 학습 비용이 과도하게 증가하지 않도록 대규모 항공 데이터셋에 효과적으로 확장될 수 있는가?
• RQ2 대규모 항공 데이터에서 평가했을 때, 전통적인 사진측량 MVS 파이프라인에 비해 NeRF의 기하학적 품질은 어떠한가?
• RQ3 멀티타일링 전략은 전체 이미지 기반 NeRF 학습에 비해 기하학적 정확도와 세부 정보를 얼마나 잘 유지하는가?
• RQ4 위치 기반 샘플링은 항공 영상에서 NeRF 학습의 수렴 속도 향상과 메모리 사용 감소에 기여하는가?

주요 결과

• 제안된 MCT-NeRF 방법은 전체 프레임 대신 타일화된 하위 영역을 처리함으로써 이미지 로딩 및 GPU 학습 중 메모리 소비를 크게 줄였다.
• 국소화된 학습 덕분에 각 타일이 독립적으로 처리되고 최적화된 샘플링이 적용되면서 수렴 속도가 향상되었다.
• 정성적 결과에서 MCT-NeRF는 기존 사진측량 MVS 파이프라인에 비해 더 완전한 3D 재구성과 뛰어난 물체 세부 정보를 제공하는 것으로 나타났다.
• 정량적 평가 결과, MCT-NeRF는 MVS에 비해 완전성과 표면 세부 정보에서 뛰어나지만, 여전히 LiDAR 기준 데이터에 비해 기하학적 정확도가 떨어졌다.
• 멀티타일링 전략은 타일 경계에서 기하학적 정밀도를 유지했으며, 재구성 과정에서 최소한의 잡음이 관찰되었다.