[논문 리뷰] BungeeNeRF: Progressive Neural Radiance Field for Extreme Multi-scale Scene Rendering

Yuanbo Xiangli, Linning Xu외 6명|arXiv (Cornell University)|2021. 12. 10.

Advanced Vision and Imaging인용 수 8

한 줄 요약

BungeeNeRF는 단계적으로 훈련하여 원거리 시야에서 시작해 점차 세부 사항을 추가함으로써 극한의 다중 스케일 환경을 모델링하는 점진적 신경 렌더링 장치를 제안한다. 잔차 블록과 스케일 연결을 사용하고 다중 수준의 감독을 통해 다양한 스케일에서 고해상도 렌더링을 유지하며, 도시, 합성, 드론 촬영 환경에서 표준 NeRF 및 Mip-NeRF보다 뚜렷하게 뛰어난 성능을 발휘한다. 특히 깊이의 초점 범위와 해상도 변화가 큰 경우에 유의미한 성능 향상을 보인다.

ABSTRACT

Neural radiance fields (NeRF) has achieved outstanding performance in modeling 3D objects and controlled scenes, usually under a single scale. In this work, we focus on multi-scale cases where large changes in imagery are observed at drastically different scales. This scenario vastly exists in real-world 3D environments, such as city scenes, with views ranging from satellite level that captures the overview of a city, to ground level imagery showing complex details of an architecture; and can also be commonly identified in landscape and delicate minecraft 3D models. The wide span of viewing positions within these scenes yields multi-scale renderings with very different levels of detail, which poses great challenges to neural radiance field and biases it towards compromised results. To address these issues, we introduce BungeeNeRF, a progressive neural radiance field that achieves level-of-detail rendering across drastically varied scales. Starting from fitting distant views with a shallow base block, as training progresses, new blocks are appended to accommodate the emerging details in the increasingly closer views. The strategy progressively activates high-frequency channels in NeRF's positional encoding inputs and successively unfolds more complex details as the training proceeds. We demonstrate the superiority of BungeeNeRF in modeling diverse multi-scale scenes with drastically varying views on multiple data sources (city models, synthetic, and drone captured data) and its support for high-quality rendering in different levels of detail.

연구 동기 및 목표

• 위성에서 지상 수준까지의 시야를 포함한 도시 환경에서 극한의 스케일 변화가 있는 3D 시점을 모델링하는 과제를 해결한다.
• 입력 신호를 모든 스케일에서 균일하게 처리하는 방식으로 인해 다중 스케일 환경에서 어려움을 겪는 표준 NeRF 및 Mip-NeRF의 한계를 극복한다.
• 계층적인 시점 표현을 학습함으로써 굵은 원거리 시야에서부터 세밀한 근접 촬영까지 일관되고 고해상도의 렌더링을 가능하게 한다.
• 모델과 훈련 데이터를 점진적으로 확장하는 훈련 철학을 설계하여 각 단계에서 증가하는 해상도에서 새로운 세부 사항에 집중한다.
• 동일한 통합 모델을 사용해 다른 출력 헤드를 통해 다양한 수준의 세부 사항을 렌더링할 수 있도록 유연한 수준의 세부 사항 렌더링을 지원한다.

제안 방법

• 점진적 훈련: 훈련 세트에 점차 더 가까운 시야를 추가하고, 각 단계에서 새로운 잔차 블록을 모델에 추가한다. 최초로 가장粗略한 스케일에서 시작한다.
• 잔차 블록 아키텍처: 각 새로운 블록은 스케일 연결을 통해 위치 인코딩 입력을 받으며, 이전 단계의 출력에 대한 색상 및 밀도 잔차를 예측한다.
• 다중 수준 감독: 각 블록의 출력 헤드는 그에 해당하는 스케일까지의 가장 굵은 스케일에서부터의 이미지 유니온을 기반으로 훈련되어, 스케일에 특화된 데이터를 최대한 활용한다.
• 계층적 특징 학습: 스케일 연결 덕분에 위치 인코딩의 고주파 성분을 재사용할 수 있어, 더 깊은 블록이 더 가까운 시야의 세부 사항을 정밀하게 보완할 수 있다.
• 점진적 모델 확장: 단일 네트워크를 깊이 있게 만드는 대신, 새로운 블록을 추가함으로써 모델을 확장함으로써 훈련 안정성을 유지하고 특징 계층을 향상시킨다.
• 출력 헤드 전문화: 각 블록은 고유한 수준의 세부 사항 렌더링을 생성하여, 재학습 없이도 다양한 스케일에 맞는 민첩한 추론이 가능하다.

실험 결과

연구 질문

• RQ1 신경 렌더링 장치는 위성, 공중 및 지상 수준의 시야를 포함한 극한의 스케일 변화가 있는 시점을 효과적으로 모델링할 수 있는가?
• RQ2 동일한 신경 렌더링 모델이 다양한 수준의 세부 사항에서 고해상도 세부 정보를 유지하면서도 원거리 시야의 완전성을 해치지 않고 유지할 수 있는가?
• RQ3 어떤 아키텍처 설계가 초기에 더 굵은 단계에서의 특징을 유지하면서도 다중 스케일 3D 표현을 점진적으로 학습할 수 있도록 하는가?
• RQ4 다중 수준 감독과 잔차 블록 설계는 다중 스케일 데이터에 대한 표준 NeRF 훈련에 비해 렌더링 품질을 어떻게 향상시키는가?
• RQ5 기본 모델인 NeRF 및 Mip-NeRF에 비해 점진적 훈련 전략이 촬영의 근접 부분에서의 흐림 현상과 먼 거리의 아티팩트를 어느 정도 줄일 수 있는가?

주요 결과

• BungeeNeRF는 극한의 스케일 변화가 있는 도시 환경에서 표준 NeRF 및 Mip-NeRF보다 유의미하게 높은 PSNR와 시각적 품질을 달성하며, 특히 근접 촬영의 세부 사항에서 뛰어난 성능을 보인다.
• Mip-NeRF와 달리, BungeeNeRF는 완전하고 아티팩트가 없는 원거리 시야를 유지한다. Mip-NeRF는 종종 외곽 영역이 불완전하거나 흐릿하게 나타나는 경향이 있다.
• 제거 실험 결과, 잔차 연결과 스케일 연결 양측 모두 필수적임을 입증한다. 둘 중 하나를 제거하면 특히 더 가까운 스케일에서 성능 저하가 발생한다.
• 잔차 연결 덕분에 후속 블록이 이전 출력을 정밀하게 보완할 수 있어, 다양한 스케일에서 기하학적 일致성과 깊이 정확도가 향상된다.
• BungeeNeRF는 도시 환경에서 복잡한 다중 카메라 트랙을 성공적으로 렌더링하여, 동시에 여러 대상의 세밀한 세부 사항을 유지한다.
• 24m에서 76m까지 고도가 변하는 UAV 촬영 실세계 환경에서 BungeeNeRF는 Mip-NeRF보다 신규 뷰 합성에서 뛰어난 성능을 보이며 실용적 유용성을 입증한다.