[논문 리뷰] SC-NeRF: Self-Correcting Neural Radiance Field with Sparse Views

Liang Song, Guangming Wang외 4명|arXiv (Cornell University)|2023. 09. 10.

Advanced Vision and Imaging인용 수 4

한 줄 요약

SC-NeRF는 오직 세 개의 희소 시야만을 사용하여 객체 수준의 데이터셋에서 학습된 신경 레디언스 필드를 새로운 실외 환경으로 일반화하는 자기보정 신경 레디언스 필드를 제안한다. 다중헤드 어텐션과 깊이 정규화된 쿼리를 통합함으로써 기하학적 왜곡과 외관 아티팩트를 보정하며, 실외 벤치마크에서 PSNR 25.989와 LPIPS 0.224의 최신 기술 수준 성능을 달성한다.

ABSTRACT

In recent studies, the generalization of neural radiance fields for novel view synthesis task has been widely explored. However, existing methods are limited to objects and indoor scenes. In this work, we extend the generalization task to outdoor scenes, trained only on object-level datasets. This approach presents two challenges. Firstly, the significant distributional shift between training and testing scenes leads to black artifacts in rendering results. Secondly, viewpoint changes in outdoor scenes cause ghosting or missing regions in rendered images. To address these challenges, we propose a geometric correction module and an appearance correction module based on multi-head attention mechanisms. We normalize rendered depth and combine it with light direction as query in the attention mechanism. Our network effectively corrects varying scene structures and geometric features in outdoor scenes, generalizing well from object-level to unseen outdoor scenes. Additionally, we use appearance correction module to correct appearance features, preventing rendering artifacts like blank borders and ghosting due to viewpoint changes. By combining these modules, our approach successfully tackles the challenges of outdoor scene generalization, producing high-quality rendering results. When evaluated on four datasets (Blender, DTU, LLFF, Spaces), our network outperforms previous methods. Notably, compared to MVSNeRF, our network improves average PSNR from 19.369 to 25.989, SSIM from 0.838 to 0.889, and reduces LPIPS from 0.265 to 0.224 on Spaces outdoor scenes.

연구 동기 및 목표

• 오직 객체 수준의 데이터셋에서만 훈련된 신경 레디언스 필드가 실외 환경으로 일반화되도록 하는 것.
• 분포 이탈과 큰 시점 변화로 인해 발생하는 블랙 아티팩트와 겹침 현상(ghosting)을 해결하는 것.
• 각 씬 최적화 없이도 희소 시야 설정에서 렌더링 품질을 향상시키는 것.
• 다양한 시나리오 구조에 걸쳐 강력한 일반화를 위한 기울기 기반, 엔드 투 엔드 학습 가능한 프레임워크를 개발하는 것.

제안 방법

• 희소 다중 시야 입력에서 저해상도 3D 기하비용을 구성하여 연속적인 기하학적 사전 지식을 제공한다.
• 렌더링된 깊이와 시점 방향을 쿼리로 사용하는 다중헤드 어텐션을 활용한 기하 보정 모듈을 도입한다.
• 방향성 및 깊이 임bedding을 기반으로 방향성 및 깊이 임베딩을 사용하는 동일한 어텐션 메커니즘을 활용해 외관 특징을 정밀 조정하는 외관 보정 모듈을 활용한다.
• 두 보정 모듈을 순차적으로 조합한다: 기하 보정이 외관 보정 이전에 이루어져 보다 향상된 특징 표현을 확보한다.
• 평가를 위해 깊이 맵 재구성용 볼륨 밀도 가중치를 갖는 기울기 기반 렌더링을 사용한다.
• 기울기 기반 특징 정렬 향상과 아티팩트 감소를 위해 다중헤드 어텐션에서 방향성 및 깊이 임베딩을 쿼리로 활용한다.

Figure 1: Comparison with previous methods IBRNet [ 12 ] and MVSNeRF [ 10 ] on Spaces. We train both their and our networks on DTU and generalize to outdoor scenes in Spaces. The left, middle, and right images respectively show the rendering result of [ 12 ] , [ 10 ] , and ours.

실험 결과

연구 질문

• RQ1 오직 객체 수준의 데이터셋에서만 훈련된 NeRF 모델이 복잡한 실외 환경으로 효과적으로 일반화될 수 있는가?
• RQ2 희소 시야 신규 시점 합성에서 큰 시점 변화로 인한 기하학적 불일치는 어떻게 완화할 수 있는가?
• RQ3 깊이 인식 쿼리 설계는 겹침 현상과 검은 테두리와 같은 렌더링 아티팩트를 줄이는 데 어떤 역할을 하는가?
• RQ4 어떻게 어텐션 기반 특징 보정이 표준 NeRF 및 IBR 기반 방법을 초월해 일반화를 향상시키는가?

주요 결과

• SC-NeRF는 실외 데이터셋 Spaces에서 PSNR 25.989를 기록하여 MVSNeRF의 19.369에 비해 뚜렷한 향상이 이루어졌다.
• 동일한 데이터셋에서 LPIPS는 MVSNeRF의 0.265에서 0.224로 감소하여 더 나은 정성적 품질을 나타낸다.
• SSIM는 0.889로 향상되어 렌더링된 시점에서의 구조적 정밀도 향상을 보여준다.
• 제거 분석 결과, 깊이와 방향성을 동시에 어텐션 쿼리로 사용함으로써 흰 구멍과 그림자 전이 아티팩트가 모두 감소하는 것으로 확인되었다.
• 깊이 정규화된 쿼리를 사용한 기하 보정은 MVSNeRF 대비 절대 깊이 오차를 37% 감소시키며, IBRNet 대비 98% 감소시켰다.
• 기하 보정이 먼저 이루어지고, 그 다음 외관 보정이 이루어지는 순차적 보정 방식이 PSNR, SSIM, LPIPS 지표에서 최고의 전반적 성능을 보였다.

Figure 2: Overview of SC-NeRF. We first extract image features and warp them onto a plane sweep,then use 3DCNN to build a geometric Volume. Second, we use the geometric feature rectification and appearance feature rectification modules to obtain the final radiation features. Finally, we use an MLP t