[论文解读] Learning Light Transport the Reinforced Way

Ken Dahm, Alexander Keller|arXiv (Cornell University)|Jan 25, 2017

Advanced Vision and Imaging参考文献 32被引用 8

一句话总结

本文提出了一种基于强化学习的方法，通过将Q函数建模为入射辐射度的近似值，在光传输模拟中学习并应用重要性采样。通过使用时间自适应的Q值引导路径朝向可能的光源，该方法显著减少了零贡献路径，与标准方法相比仅增加20%的运行时开销，便在路径追踪中实现了显著更低的噪声。

ABSTRACT

We show that the equations of reinforcement learning and light transport simulation are related integral equations. Based on this correspondence, a scheme to learn importance while sampling path space is derived. The new approach is demonstrated in a consistent light transport simulation algorithm that uses reinforcement learning to progressively learn where light comes from. As using this information for importance sampling includes information about visibility, too, the number of light transport paths with zero contribution is dramatically reduced, resulting in much less noisy images within a fixed time budget.

研究动机与目标

• 解决传统路径追踪因遮挡和采样不佳导致的方差高和零贡献路径多的问题，从而提高效率。
• 开发一种在线、自适应的重要性采样方案，无需预处理即可学习光源的来源。
• 通过共享的积分方程，统一强化学习与光传输的数学结构。
• 通过在渲染过程中从路径样本中学习，提升蒙特卡洛光传输的收敛速度和图像质量。
• 实现在动态场景中帧间一致的重要性采样，支持实时渲染。

提出的方法

• 本文建立了Q学习更新规则与光传输模拟中使用的第二类弗雷德霍姆积分方程之间的对应关系。
• 将Q值函数表述为入射辐射度的平滑近似，用在线时序差分更新替代递归的诺伊曼级数解法。
• 采用期望SARSA风格的更新（公式3），对所有可能的下一步动作按转移核加权平均，相比贪婪Q学习具有更高的稳定性。
• 重要性采样由学习到的Q值引导，Q值表示预期的未来辐射贡献，从而有效引导路径朝向可能的光源。
• 该方法被集成到路径追踪框架中，实现在图像合成过程中无需预计算的在线学习。
• Q函数在方向上进行离散化，支持高效存储和渲染过程中的增量更新。

实验结果

研究问题

• RQ1 是否可以利用共享的数学框架，通过强化学习来建模并学习光传输模拟中的重要性？
• RQ2 使用未来Q值的加权平均（期望SARSA）是否在减少路径噪声方面优于贪婪动作选择？
• RQ3 在渲染过程中在线学习Q值是否能减少零贡献光传输路径的数量，而无需预处理？
• RQ4 与标准路径追踪和Metropolis光传输相比，该方法在降噪和收敛速度方面表现如何？
• RQ5 学习到的Q函数是否可用于引导路径采样，从而减少平均路径长度并提高效率？

主要发现

• 基于强化学习的重要性采样在相同路径数量下，显著降低了噪声，优于采用反射重要性采样的标准路径追踪。
• 该方法大幅减少了零贡献光传输路径的数量，而这是蒙特卡洛渲染中噪声的主要来源。
• 使用期望SARSA（公式3）进行Q更新优于贪婪Q学习（公式1），后者导致更高的方差和更差的收敛性。
• 该算法在1280×720图像上每轮迭代耗时51ms，相比标准路径追踪（41ms）仅增加20%的开销，但噪声降低效果显著，完全抵消了性能损失。
• 由于路径被引导朝向光源而非随机采样，平均路径长度得以减少，从而提升了效率。
• 该方法与现有技术（如Metropolis采样）兼容，且可扩展为使用分层或神经网络结构的Q函数表示。