[논문 리뷰] AIM 2024 Sparse Neural Rendering Challenge: Methods and Results

Michał Nazarczuk, Sibi Catley-Chandar외 28명|arXiv (Cornell University)|2024. 09. 23.

Advanced Neural Network Applications인용 수 8

한 줄 요약

AIM 2024 Sparse Neural Rendering Challenge 논문은 희소 시점에서의 두 트랙 희소 뷰 신뉴럴 렌더링을 검토하며, 데이터셋 SpaRe/DTU 및 다양한 장면별 최적화 방법이 기저선 대비 강한 이득을 보임.

ABSTRACT

This paper reviews the challenge on Sparse Neural Rendering that was part of the Advances in Image Manipulation (AIM) workshop, held in conjunction with ECCV 2024. This manuscript focuses on the competition set-up, the proposed methods and their respective results. The challenge aims at producing novel camera view synthesis of diverse scenes from sparse image observations. It is composed of two tracks, with differing levels of sparsity; 3 views in Track 1 (very sparse) and 9 views in Track 2 (sparse). Participants are asked to optimise objective fidelity to the ground-truth images as measured via the Peak Signal-to-Noise Ratio (PSNR) metric. For both tracks, we use the newly introduced Sparse Rendering (SpaRe) dataset and the popular DTU MVS dataset. In this challenge, 5 teams submitted final results to Track 1 and 4 teams submitted final results to Track 2. The submitted models are varied and push the boundaries of the current state-of-the-art in sparse neural rendering. A detailed description of all models developed in the challenge is provided in this paper.

연구 동기 및 목표

• 매우 희소 입력 뷰 아래에서 새로운 시점 합성에 대한 희소 뷰 신경 렌더링의 동기 부여 및 벤치마킹.
• SpaRe 및 DTU 데이터셋을 사용한 표준화된 평가로 객체 중심의 충실도(PSNR-M) 및 관련 지각 지표에 초점을 맞춤.
• 희소 입력 제약 하에서 FreeNeRF를 넘어서는 다양하고 per-scene 최적화 접근법을 이끌어냄.
• 정규화, 사전 학습된 네트워크로부터의 priors, 교사-학생 전략이 희소 설정의 재구성 품질에 미치는 영향을 분석함.

제안 방법

• 3뷰 및 9뷰 입력으로 두 트랙의 챌렌지를 채택하고 전체 해상도 SpaRe/DTU 장면에서 평가함.
• 참가자는 주로 FreeNeRF를 기반으로 한 per-scene 최적화 솔루션을 구축하되, 정규화와 priors로 개선함.
• 주요 방법 계층 두 가지: 정규화 기반 개선(주파수 정규화 및 차폐 정규화); priors 기반 감독(깊이 기반 손실, 사전 학습된 특징 감독).
• 교사-학생 프레임(FrameNeRF)은 희소 뷰 교사를 사용해 밀집한 가짜 지상-truth를 생성하고 우수한 학생 모델을 얻음.
• 특징 가이드 NeRF(MikeLee)는 사전 학습된 VGG 특징을 사용해 색상 예측을 특징 병목과 연관 손실로 제약하고 조건화함.
• 깊이 기반 ESNeRF(zongqihe)는 색상 손실과 깊이 유도 정규화를 결합해 DPT 깊이 맵 및 추가 정규화(TV, 랭킹, 연속성)를 활용함.
• 세 모델 융합 접근(Thirteen)은 FreeNeRF 기반 기저선, SparseNeRF에서 영감을 받은 증류 및 융합 전략을 결합함.
• 주파수 정규화 NeRF 및 차폐 정규화(IPC V)는 희소 데이터에서 과적합과 인공 현상을 방지하기 위함.

실험 결과

연구 질문

• RQ1 희소 뷰 신경 렌더링이 dense 뷰 기저선과 비교하여 3 또는 9 입력 뷰에서 얼마나 높은 충실도 신기점을 생성할 수 있는가?
• RQ2 희소 관찰하에서 객체 중심 재구성 지표를 가장 강하게 만드는 정규화와 priors의 조합은 무엇인가?
• RQ3 교사-학생, 특징 기반 감독, 또는 깊이 유도 손실이 희소 NeRF에서 PSNR-M 및 지각 지표에 측정 가능한 이득을 제공하는가?
• RQ4 SpaRe 합성 데이터 vs DTU 실제 장면에서 방법들이 어떻게 다르게 수행되며 질적 차이가 무엇인가?

주요 결과

• FrameNeRF 스타일의 교사-학생 접근(FrameNeRF)은 트랙 1에서 PSNR-M과 LPIPS-M에서 강한 이득을 제공하고 기저선 FreeNeRF 대비 상당한 개선을 보임.
• MikeLee의 방법은 트랙 1에서 전체 이미지 PSNR의 최상위를 달성하고 희소 뷰 재구성을 안정시키는 깊이 특징 감독을 제공함.
• 트랙 2의 9뷰 설정에서 Wang_pan의 접근법이 트랙 2 마스크된 PSNR(PSNR-M) 및 SSIM-M에서 최고치를 달성하며 경쟁자 대비 에지/세부가 현저히 개선됨.
• 정규화 전략(주파수, 차폐, 깊이 TV, 깊이 랭킹, 연속성)은 트랙 간에 기저선 대비 지속적으로 성능을 향상시킴.
• 전반적으로 모든 제출 방법이 FreeNeRF 기저선보다 상당한 차이로 상회했으며(예: 트랙 1의 마스크된 PSNR에서 최대 약 3.4 dB 수준까지).
• SpaRe+DTU 데이터셋 조합은 합성 및 실제 장면 모두의 평가를 가능하게 하며 전체 해상도 입력으로 더 도전적인 벤치마크를 가능하게 함.