[논문 리뷰] 4K-NeRF: High Fidelity Neural Radiance Fields at Ultra High Resolutions

Zhongshu Wang, Lingzhi Li외 3명|arXiv (Cornell University)|2022. 12. 09.

Advanced Vision and Imaging인용 수 15

한 줄 요약

이 논문은 레이 상관관계와 패치 기반 샘플링을 활용한 3D 인식 인코더-디코더 아키텍처를 통해 4K 초고해상도에서 고해상도 신시각 합성 성능을 향상시키는 새로운 프레임워크인 4K-NeRF를 제안한다. 저해상도 공간에서 기하학적 맥락을 모델링하고, 전체 해상도에서 깊이 조절형 합성곱을 통해 세부 정보를 복구함으로써, 픽셀 기반 NeRF 기반 기법 대비 고주파 세부 정보 복구 능력이 크게 향상된 상태에서 최신 기술 수준의 시각적 품질을 달성한다.

ABSTRACT

In this paper, we present a novel and effective framework, named 4K-NeRF, to pursue high fidelity view synthesis on the challenging scenarios of ultra high resolutions, building on the methodology of neural radiance fields (NeRF). The rendering procedure of NeRF-based methods typically relies on a pixel-wise manner in which rays (or pixels) are treated independently on both training and inference phases, limiting its representational ability on describing subtle details, especially when lifting to a extremely high resolution. We address the issue by exploring ray correlation to enhance high-frequency details recovery. Particularly, we use the 3D-aware encoder to model geometric information effectively in a lower resolution space and recover fine details through the 3D-aware decoder, conditioned on ray features and depths estimated by the encoder. Joint training with patch-based sampling further facilitates our method incorporating the supervision from perception oriented regularization beyond pixel-wise loss. Benefiting from the use of geometry-aware local context, our method can significantly boost rendering quality on high-frequency details compared with modern NeRF methods, and achieve the state-of-the-art visual quality on 4K ultra-high-resolution scenarios. Code Available at \url{https://github.com/frozoul/4K-NeRF}

연구 동기 및 목표

• 픽셀 기반 레이 처리 방식으로 인해 4K 초고해상도에서 고주파 세부 정보를 유지하는 데 한계가 있는 NeRF 기반 방법의 문제를 해결하기 위해.
• 기하학적 맥락을 통한 레이 상관관계 모델링을 통해 세부 정보의 표현 능력을 향상시키기 위해.
• 시각적 품질을 최고 수준으로 달성하기 위해 인지 기반 정규화를 적용한 통합 학습 전략을 사용하기 위해.
• 깊이 조절형 합성곱과 패치 기반 샘플링이 렌더링 정밀도 향상에 기여하는지 검증하기 위해.

제안 방법

• 저해상도 레이 특징에서 기하학적 특징과 추정된 깊이를 추출하기 위해 3D 인식 인코더를 도입한다.
• 전체 해상도 공간에서 고주파 세부 정보를 재구성하기 위해 깊이 조절형 합성곱을 활용한 3D 인식 디코더를 사용한다.
• 인지 기반 손실과 함께 인코더와 디코더의 통합 학습을 가능하게 하기 위해 패치 기반 레이 샘플링을 적용한다.
• L1, 인지적, 적대적 손실을 포함한 다중 스케일 손실을 도입하여 질감과 세부 정보 품질을 향상시킨다.
• 디코더를 레이 특징과 예측된 깊이 양쪽에 조건화하여 시각 일致성과 세부 정보 복구 능력을 향상시킨다.
• 기하학적 모델링과 국소 맥락 학습이 조율될 수 있도록 인코더와 디코더를 함께 학습한다.

실험 결과

연구 질문

• RQ1 기하학적 맥락을 통한 레이 상관관계 모델링이 초고해상도 NeRF 렌더링에서 고주파 세부 정보 복구에 상당한 기여를 할 수 있는가?
• RQ2 인지 기반 손실과 함께 패치 기반 샘플링은 표준 랜덤 샘플링과 픽셀 기반 MSE 손실 대비 세부 정보 향상에 얼마나 효과적인가?
• RQ3 디코더에서 깊이 조절형 합성곱이 4K 렌더링에서 시각 일치성과 세부 정보 정밀도 향상에 어느 정도 기여하는가?
• RQ4 제안된 프레임워크는 반사 및 반투명성을 포함한 다양한 장면 유형에 일반화될 수 있는가?
• RQ5 인지적 손실과 적대적 손실 등 여러 손실 함수를 조합했을 때 시각적 품질 향상과 잡음 감소에 어떤 영향을 미치는가?

주요 결과

• 4K-Synthetic-NeRF 및 4K-LLFF 벤치마크에서 4K-NeRF는 뚜렷한 흐림 현상 감소와 함께 고주파 세부 정보 복구 능력 향상으로 최신 기술 수준의 시각적 품질을 달성한다.
• ‘Fern’ 장면에서 LPIPS는 0.162, NIQE는 4.20으로 측정되어 베이스라인 TensoRF(이하 LPIPS: 0.464, NIQE: 7.172)를 뛰어넘는 성능을 보였다.
• 절단 실험 결과, 적대적 손실을 제거할 경우 LPIPS는 0.205로 상승하고 NIQE는 6.89로 증가하여, 질감의 선명도 향상에 있어 이 손실의 핵심적 역할을 확인하였다.
• 깊이 조절형 합성곱을 제외할 경우 LPIPS는 0.189로 상승하고 SSIM는 0.754로 감소하여, 깊이 안내가 시각 일치성 향상에 기여함을 확인하였다.
• L1 손실만을 사용할 경우 PSNR는 23.69로 높지만 뚜렷한 흐림 아티팩트가 발생함을 확인하여, 측정 지표와 인지적 품질 간의 상충 관계를 입증하였다.
• DVGO 인코더를 TensoRF로 교체해도 프레임워크가 잘 일반화되며, ‘Fern’ 장면에서 LPIPS는 0.342(비교 기준 0.452)로 감소하고 NIQE도 향상됨을 확인하였다.