[论文解读] AIM 2024 Sparse Neural Rendering Challenge: Methods and Results

Michał Nazarczuk, Sibi Catley-Chandar+28 more|arXiv (Cornell University)|Sep 23, 2024

Advanced Neural Network Applications被引用 8

一句话总结

AIM 2024 稀疏神经渲染挑战论文评审两条稀疏视图新视图合成路线、SpaRe/DTU 数据集，以及在每个场景上的多样化优化方法，相对于基线具有显著提升。

ABSTRACT

This paper reviews the challenge on Sparse Neural Rendering that was part of the Advances in Image Manipulation (AIM) workshop, held in conjunction with ECCV 2024. This manuscript focuses on the competition set-up, the proposed methods and their respective results. The challenge aims at producing novel camera view synthesis of diverse scenes from sparse image observations. It is composed of two tracks, with differing levels of sparsity; 3 views in Track 1 (very sparse) and 9 views in Track 2 (sparse). Participants are asked to optimise objective fidelity to the ground-truth images as measured via the Peak Signal-to-Noise Ratio (PSNR) metric. For both tracks, we use the newly introduced Sparse Rendering (SpaRe) dataset and the popular DTU MVS dataset. In this challenge, 5 teams submitted final results to Track 1 and 4 teams submitted final results to Track 2. The submitted models are varied and push the boundaries of the current state-of-the-art in sparse neural rendering. A detailed description of all models developed in the challenge is provided in this paper.

研究动机与目标

• 在极稀疏输入视图下，推动并评估稀疏视图神经渲染用于新视图合成。
• 使用 SpaRe 和 DTU 数据集标准化评估，聚焦对象中心一致性（PSNR-M）及相关感知指标。
• 挖掘多样化的逐场景优化方法，在稀疏输入约束下推动超越基线 FreeNeRF。
• 分析正则化、来自预训练网络的先验以及师生策略在稀疏设置下对重建质量的影响。

提出的方法

• 采用两轨挑战，输入为 3 视图和 9 视图，并在全分辨率 SpaRe/DTU 场景上进行评估。
• 参赛者构建基于 FreeNeRF 的逐场景优化解决方案，并通过正则化和先验进行增强。
• 两个显著的方法类别：基于正则化的改进（频率正则化与遮挡正则化）；基于先验的监督（基于深度的损失、预训练特征监督）。
• 师生框架（FrameNeRF）使用稀疏视图教师生成密集伪真值，以获得高质量的学生。
• 特征引导的 NeRF（MikeLee）使用预训练的 VGG 特征，通过特征瓶颈及相关损失来约束和调节颜色预测。
• 基于深度的 ESNeRF（zongqihe）将颜色损失与深度引导的正则化结合，利用 DPT 深度图和额外正则化（TV、排序、连续性）。
• 三模型融合方法（Thirteen）将基于 FreeNeRF 的基线、受 SparseNeRF 启发的蒸馏以及融合策略结合。
• 频率正则化的 NeRF 与遮挡正则化（IPC V）用于在稀疏数据中抑制过拟合和伪影。

实验结果

研究问题

• RQ1 在 3 视图或 9 视图输入下，稀疏视图神经渲染能否产生与密集视图基线同等高保真度的新视图？
• RQ2 在稀疏观测下，哪种正则化与先验组合能获得最强的对象中心重建指标？
• RQ3 师生、基于特征的监督或深度引导损失是否能在 PSNR-M 与感知指标上为稀疏 NeRF 带来可衡量的提升？
• RQ4 不同方法在 SpaRe 合成场景与 DTU 实景场景上的表现有何差异，定性差异又是什么？

主要发现

• FrameNeRF 风格的师生方法（FrameNeRF）在 Track 1 上带来强劲的 PSNR-M 与 LPIPS-M 增益，显著优于基线 FreeNeRF。
• MikeLee 的方法在 Track 1 上实现了全图 PSNR 的最高分，并提供深度特征监督，稳定了稀疏视图重建。
• 在 Track 2 的 9 视图设置中，Wang_pan 的方法实现了 Track 2 的最高遮罩 PSNR（PSNR-M）和 SSIM-M，较竞争对手在边缘/细节方面有明显提升。
• 正则化策略（频率、遮挡、深度 TV、深度排序、连续性）在两个轨道均持续优于基线。
• 总体而言，所有提交的方法在各自轨道均显著优于 FreeNeRF 基线（例如，在 Track 1 的某些指标的遮罩 PSNR 达到约 3.4 dB）。
• SpaRe+DTU 数据集的结合使得能对合成和真实场景进行评估，且全分辨率输入使基准更具挑战性。