[论文解读] Rotation-Equivariant Conditional Spherical Neural Fields for Learning a Natural Illumination Prior

James Gardner, Bernhard Egger+1 more|arXiv (Cornell University)|Jun 7, 2022

Advanced Vision and Imaging被引用 5

一句话总结

该论文提出 RENI，一种旋转等变的条件球面神经场，通过从 1.6K 幅 HDR 环境图中学习自然光照先验。通过将基于 SIREN 的神经场与向量神经元结合，并强制实施 SO(2) 旋转等变性，RENI 能够生成高保真、高动态范围的光照图，并实现最先进的泛化能力，支持鲁棒的环境补全与逆向渲染。

ABSTRACT

Inverse rendering is an ill-posed problem. Previous work has sought to resolve this by focussing on priors for object or scene shape or appearance. In this work, we instead focus on a prior for natural illuminations. Current methods rely on spherical harmonic lighting or other generic representations and, at best, a simplistic prior on the parameters. We propose a conditional neural field representation based on a variational auto-decoder with a SIREN network and, extending Vector Neurons, build equivariance directly into the network. Using this, we develop a rotation-equivariant, high dynamic range (HDR) neural illumination model that is compact and able to express complex, high-frequency features of natural environment maps. Training our model on a curated dataset of 1.6K HDR environment maps of natural scenes, we compare it against traditional representations, demonstrate its applicability for an inverse rendering task and show environment map completion from partial observations. A PyTorch implementation, our dataset and trained models can be found at jadgardner.github.io/RENI.

研究动机与目标

• 为了解决逆向渲染中自然光照缺乏统计先验的问题，否则将导致病态解。
• 开发一种紧凑、表达能力强且具有旋转等变性的高动态范围（HDR）环境图表示方法，以捕捉真实世界的光照规律。
• 通过学习对合理自然光照的先验，实现鲁棒的逆向渲染与环境图补全。
• 克服传统表示方法（如球谐函数和球形高斯）的局限性，这些方法缺乏表达性先验，无法建模复杂、高频的光照。

提出的方法

• 该方法采用基于 SIREN 网络的条件神经场架构，并结合变分自编码解码器，以建模环境图潜在空间的表示。
• 通过绕垂直（y）轴旋转潜在码，将向量神经元扩展至强制实现 SO(2) 旋转等变性，确保输入旋转在输出中以等价方式体现。
• 采用等距圆柱投影的球面信号表示，网络以 3×N 的潜在码为条件，编码方向性光照信息。
• 通过格朗姆矩阵层计算潜在码的不变表示，实现旋转不变的对比与损失计算。
• 训练数据集包含 1.6K 幅自然场景的精心筛选 HDR 环境图，通过随机旋转进行数据增强，以提升泛化能力。
• 模型使用重建损失进行训练，以鼓励对输入环境图的准确重建，并在旋转下保持潜在空间表示的一致性。

实验结果

研究问题

• RQ1 神经场模型能否学习到紧凑、表达能力强且具有旋转等变性的自然 HDR 环境图先验，使其泛化能力超越训练分布？
• RQ2 与传统的球谐函数（SH）和球形高斯（SG）表示相比，所提出的旋转等变球面神经场在逆向渲染与环境图补全中的表现如何？
• RQ3 所学习的先验在多大程度上捕捉了真实世界光照的高频特征与统计规律，例如主导的向上光照与天空颜色约束？
• RQ4 该模型的潜在空间是否支持解耦且可解释的光照表示，从而在旋转变换下实现一致的重建？

主要发现

• RENI 仅通过随机潜在码采样即可生成逼真、高动态范围的环境图，证明了模型学习到一致自然光照先验的能力。
• 在重建旋转后的环境图对时，模型的相对误差低于 2.0%，证实了在 21 对图像中的 18 对上均表现出强大的 SO(2) 旋转等变性。
• 与传统球谐函数和球形高斯表示相比，RENI 在使用更少参数的情况下，更有效地捕捉了高频光照特征。
• 该模型能够有效实现从部分观测中补全环境图，表现出对缺失数据的鲁棒性，并能泛化至未见场景。
• 尽管具有强先验，RENI 在室内场景上的泛化能力仍合理，但相比室外场景性能有所下降，归因于领域偏移。
• 潜在空间在某些情况下表现出冗余性，表明多个潜在码可表示同一环境，提示未来可通过改进正则化或维度调优进一步优化。