[论文解读] BACON: Band-limited Coordinate Networks for Multiscale Scene Representation

David B. Lindell, Dave Van Veen+2 more|arXiv (Cornell University)|Dec 9, 2021

Advanced Vision and Imaging被引用 7

一句话总结

BACON 引入了带限坐标网络，通过解析方式控制各层的频谱带宽，实现在无需每尺度监督的情况下进行多尺度场景表征。通过约束傅里叶谱，该模型确保了在未监督点处的可预测行为，并通过自适应频率剪枝实现 80 倍于 SDF 的评估速度提升，在 3D 重建和神经渲染方面优于单尺度网络。

ABSTRACT

Coordinate-based networks have emerged as a powerful tool for 3D representation and scene reconstruction. These networks are trained to map continuous input coordinates to the value of a signal at each point. Still, current architectures are black boxes: their spectral characteristics cannot be easily analyzed, and their behavior at unsupervised points is difficult to predict. Moreover, these networks are typically trained to represent a signal at a single scale, so naive downsampling or upsampling results in artifacts. We introduce band-limited coordinate networks (BACON), a network architecture with an analytical Fourier spectrum. BACON has constrained behavior at unsupervised points, can be designed based on the spectral characteristics of the represented signal, and can represent signals at multiple scales without per-scale supervision. We demonstrate BACON for multiscale neural representation of images, radiance fields, and 3D scenes using signed distance functions and show that it outperforms conventional single-scale coordinate networks in terms of interpretability and quality.

研究动机与目标

• 解决传统坐标网络缺乏可解释性与尺度感知能力的问题，这些网络作为黑箱模型，在未监督点处行为不可预测。
• 实现在无需每尺度监督或重新训练的情况下，对图像、辐射场和 3D 场景等多尺度信号进行表征。
• 通过显式建模中间激活的傅里叶谱，为坐标网络建立频谱分析框架。
• 通过自适应频率评估与多尺度剪枝策略，提升基于 SDF 的网格提取推理效率。

提出的方法

• 设计一种乘法滤波网络，使用正弦激活函数，其频率带宽在每一层初始化于指定带宽 $[-B_i, B_i]$ 内。
• 确保每一层的输出带宽为输入带宽之和，从而从初始化阶段即可实现对网络频谱响应的解析控制。
• 使用带限激活函数，约束中间特征的傅里叶谱，使网络在未监督坐标处的行为也具有可预测性。
• 在 SDF 网格提取过程中应用自适应频率评估：当 $| ext{SDF}| < au$（$ au = 0.7 \times$ 最细体素尺寸）时提前停止计算，降低评估成本。
• 实施多尺度网格策略：在更粗层级预先检查 $| ext{SDF}| > \bar{\rho}R$（$ ho=2$），剔除空旷区域，再进行细化，从而加速网格提取。
• 结合自适应频率评估与多尺度网格，在 RTX A6000 GPU 上实现较朴素密集网格评估 80 倍的速度提升。

实验结果

研究问题

• RQ1 我们能否设计出具有解析可控频谱带宽的坐标网络，以提升可解释性与尺度感知能力？
• RQ2 对中间特征的傅里叶谱施加约束，如何影响模型在未监督点处的泛化能力与行为表现？
• RQ3 带限坐标网络是否能在无需显式每尺度监督的情况下，实现多尺度信号表征？
• RQ4 自适应频率评估与多尺度剪枝在多大程度上可加速基于 SDF 的网格提取？
• RQ5 在多尺度 3D 场景重建与神经渲染中，带限网络相较于传统单尺度网络的性能表现如何？

主要发现

• BACON 在密集网格上实现 80 倍于朴素评估的 SDF 评估速度提升，得益于自适应频率评估与多尺度剪枝。
• 该模型在 3D 场景重建中优于单尺度坐标网络，在同时表征所有尺度的情况下，实现了与高分辨率基线相当的 Chamfer 距离与 IOU。
• 由于输出层具有带限特性，BACON 在多尺度下生成更平滑、无伪影的重建结果，而基于 ReLU 的网络则因高频泄漏产生角形伪影。
• 由于其傅里叶谱被解析定义，网络在未监督点处的行为可被严格约束，从而实现可靠的外推。
• BACON 在多尺度图像拟合、神经辐射场与 3D 场景表征任务中达到最先进性能，且无需每尺度监督。
• 尽管高维信号拟合因维度灾难而更具挑战，该方法仍保持高效与可扩展性，尤其在优化频率初始化后表现更优。