[论文解读] Learning to Importance Sample in Primary Sample Space

Quan Zheng, Matthias Zwicker|arXiv (Cornell University)|Aug 23, 2018

Image and Signal Denoising Methods参考文献 31被引用 6

一句话总结

本文提出了一种黑箱重要性采样方法，利用 Real NVP 神经网络在主样本空间中学习非线性形变，从而在不修改底层渲染器的前提下实现蒙特卡洛渲染中的方差减少。通过在场景相关的样本上基于最大似然进行训练，该方法实现了显著的方差减少——例如，均方误差比均匀采样低 40%——同时避免了样本拒绝，无需显式密度模型或场景数据结构。

ABSTRACT

Importance sampling is one of the most widely used variance reduction strategies in Monte Carlo rendering. In this paper, we propose a novel importance sampling technique that uses a neural network to learn how to sample from a desired density represented by a set of samples. Our approach considers an existing Monte Carlo rendering algorithm as a black box. During a scene-dependent training phase, we learn to generate samples with a desired density in the primary sample space of the rendering algorithm using maximum likelihood estimation. We leverage a recent neural network architecture that was designed to represent real-valued non-volume preserving ('Real NVP') transformations in high dimensional spaces. We use Real NVP to non-linearly warp primary sample space and obtain desired densities. In addition, Real NVP efficiently computes the determinant of the Jacobian of the warp, which is required to implement the change of integration variables implied by the warp. A main advantage of our approach is that it is agnostic of underlying light transport effects, and can be combined with many existing rendering techniques by treating them as a black box. We show that our approach leads to effective variance reduction in several practical scenarios.

研究动机与目标

• 通过在主样本空间中学习与场景相关的特定重要性采样分布，减少蒙特卡洛路径追踪中的方差。
• 开发一种将现有渲染器视为黑箱的方法，避免对解析光传输模型的依赖。
• 通过学习可微且可逆的主样本空间变换，实现高效、无拒绝的采样。
• 证明基于神经网络的形变在复杂光照场景中可优于均匀采样和传统重要性采样技术。

提出的方法

• 该方法使用 Real NVP 神经网络，学习从均匀分布到主样本空间中目标非均匀密度的非体积保持、可逆变换。
• 网络通过在原始渲染器生成的一组训练样本上进行最大似然估计进行训练。
• Real NVP 高效计算形变的雅可比行列式，从而在蒙特卡洛积分中正确应用变量替换。
• 在渲染过程中应用学习到的形变，以从目标密度生成样本，从而在无偏差的情况下减少方差。
• 该方法独立于底层光传输效应，因此与 BRDF、环境贴图、可见性等组件兼容。
• 通过将密度信息直接编码在神经网络参数中，避免了显式数据结构（如八叉树）的使用。

实验结果

研究问题

• RQ1 神经网络能否在无法访问渲染器内部逻辑的情况下，学习到主样本空间中有效且与场景相关的特定重要性采样分布？
• RQ2 在复杂光照场景中，该黑箱方法的性能与均匀采样和传统重要性采样相比如何？
• RQ3 该方法能否在不使用样本拒绝或额外数据结构的情况下实现显著的方差减少？
• RQ4 训练数据大小和网络容量对学习到的密度准确度有何影响？
• RQ5 该方法能否在不同渲染效果（如间接照明、景深和运动模糊）之间实现泛化？

主要发现

• 在具有挑战性的单次反弹间接照明场景中，该方法的均方误差（MSE）达到 0.0016813，优于等样本量基线（0.0052876）和等渲染时间基线（0.0027032）。
• 即使在非可见光源引起的间接照明场景中，方差减少依然有效，而传统方法在此类场景中往往表现不佳。
• 该方法显著降低了渲染误差，且未引入偏差，经与耗时 2 小时的参考图像对比验证。
• 该方法实现了无样本拒绝的性能，与 PSS-MLT 不断丢弃提议路径的情况形成鲜明对比。
• 训练时间约为数分钟，且评估形变的运行时开销仅为路径追踪成本的一小部分，使其在高质量渲染中具有实用性。
• 该方法对光传输效应不敏感，可扩展至镜头采样、时间采样以及参与介质的处理。