[论文解读] BungeeNeRF: Progressive Neural Radiance Field for Extreme Multi-scale Scene Rendering

Yuanbo Xiangli, Linning Xu+6 more|arXiv (Cornell University)|Dec 10, 2021

Advanced Vision and Imaging被引用 8

一句话总结

BungeeNeRF 提出了一种渐进式的神经辐射场，通过分阶段训练来建模极端多尺度场景，从远距离视图开始，随着模型的扩展逐步增加细节。它采用带有跳跃连接的残差块和多级监督，以在不同尺度上保持高保真度渲染，显著优于标准 NeRF 和 Mip-NeRF，在具有大景深和分辨率变化的城市、合成及无人机拍摄的场景中表现优异。

ABSTRACT

Neural radiance fields (NeRF) has achieved outstanding performance in modeling 3D objects and controlled scenes, usually under a single scale. In this work, we focus on multi-scale cases where large changes in imagery are observed at drastically different scales. This scenario vastly exists in real-world 3D environments, such as city scenes, with views ranging from satellite level that captures the overview of a city, to ground level imagery showing complex details of an architecture; and can also be commonly identified in landscape and delicate minecraft 3D models. The wide span of viewing positions within these scenes yields multi-scale renderings with very different levels of detail, which poses great challenges to neural radiance field and biases it towards compromised results. To address these issues, we introduce BungeeNeRF, a progressive neural radiance field that achieves level-of-detail rendering across drastically varied scales. Starting from fitting distant views with a shallow base block, as training progresses, new blocks are appended to accommodate the emerging details in the increasingly closer views. The strategy progressively activates high-frequency channels in NeRF's positional encoding inputs and successively unfolds more complex details as the training proceeds. We demonstrate the superiority of BungeeNeRF in modeling diverse multi-scale scenes with drastically varying views on multiple data sources (city models, synthetic, and drone captured data) and its support for high-quality rendering in different levels of detail.

研究动机与目标

• 解决建模具有极端尺度变化的 3D 场景的挑战，例如城市中从卫星到地面视角的视图变化。
• 克服标准 NeRF 和 Mip-NeRF 的局限性，后者由于对不同尺度输入信号的统一处理，在多尺度场景中表现不佳。
• 通过学习分层的场景表征，实现在所有细节层次（从粗略的远距离视图到精细的特写）上的一致且高保真度的渲染。
• 设计一种渐进式训练范式，使模型和训练数据均逐步扩展，确保每一阶段专注于更高分辨率下的新细节。
• 通过允许不同输出头使用同一统一模型在不同尺度上渲染视图，支持灵活的细节层次渲染。

提出的方法

• 渐进式训练：逐步将更近的视图加入训练集，并在每个阶段向模型中添加新的残差块，从最粗略的尺度开始。
• 残差块架构：每个新块通过跳跃连接接收位置编码输入，并相对于前一阶段输出预测颜色和密度残差。
• 多级监督：每个块的输出头在其对应尺度及更粗的尺度的图像并集中进行训练，确保充分利用各尺度特定的数据。
• 分层特征学习：跳跃连接使位置编码中的高频分量得以重用，使更深的块能够细化近景视图中的细节。
• 渐进式模型扩展：不通过加深单一网络，而是通过追加新块扩展模型，保持训练稳定性并改善特征层次结构。
• 输出头专业化：每个块生成特定细节层次的渲染结果，实现在无需微调的情况下灵活、尺度感知的推理。

实验结果

研究问题

• RQ1 神经辐射场能否有效建模跨度涵盖卫星、航空和地面视角的极端尺度变化场景？
• RQ2 单个神经渲染模型如何在不牺牲远距离视图完整性的前提下，保持在截然不同的细节层次上的高保真度细节？
• RQ3 何种架构设计能够实现多尺度 3D 表征的渐进式学习，同时保留早期粗略阶段的特征？
• RQ4 与在多尺度数据上标准 NeRF 训练相比，多级监督和残差块设计在提升渲染质量方面有何优势？
• RQ5 与基线方法 NeRF 和 Mip-NeRF 相比，渐进式训练策略在减少近景模糊和远距离伪影方面能有多大改善？

主要发现

• BungeeNeRF 在具有极端尺度变化的城市场景中，PSNR 和视觉质量显著优于标准 NeRF 和 Mip-NeRF，尤其在近景细节方面表现突出。
• 该模型保持了完整且无伪影的远距离视图，而 Mip-NeRF 常在边缘区域产生不完整或模糊的区域。
• 消融实验表明，残差连接和跳跃连接均至关重要：移除任一都会导致性能下降，尤其在近距离尺度上更为明显。
• 残差连接使后续块能够优化早期输出，从而提升跨尺度的几何一致性与深度准确性。
• BungeeNeRF 能够成功渲染城市场景中复杂的多机位摄像轨迹，同时保持多个目标的精细细节。
• 在无人机从 24 米到 76 米高度拍摄的真实世界场景中，BungeeNeRF 在新视角合成方面优于 Mip-NeRF，展现出实际应用价值。