[论文解读] Deep Illumination: Approximating Dynamic Global Illumination with Generative Adversarial Network

Manu Mathew Thomas, Angus G. Forbes|arXiv (Cornell University)|Oct 26, 2017

Advanced Vision and Imaging参考文献 23被引用 17

一句话总结

Deep Illumination 提出了一种条件生成对抗网络（cGAN），通过使用 G-buffers 和直接光照作为输入，在实时场景中近似高质量的动态全局光照。训练完成后，该模型能够为新型场景配置生成逼真的间接光照和柔化阴影，其质量优于 VXGI，速度则快于路径追踪。

ABSTRACT

We present Deep Illumination, a novel machine learning technique for approximating global illumination (GI) in real-time applications using a Conditional Generative Adversarial Network. Our primary focus is on generating indirect illumination and soft shadows with offline rendering quality at interactive rates. Inspired from recent advancement in image-to-image translation problems using deep generative convolutional networks, we introduce a variant of this network that learns a mapping from Gbuffers (depth map, normal map, and diffuse map) and direct illumination to any global illumination solution. Our primary contribution is showing that a generative model can be used to learn a density estimation from screen space buffers to an advanced illumination model for a 3D environment. Once trained, our network can approximate global illumination for scene configurations it has never encountered before within the environment it was trained on. We evaluate Deep Illumination through a comparison with both a state of the art real-time GI technique (VXGI) and an offline rendering GI technique (path tracing). We show that our method produces effective GI approximations and is also computationally cheaper than existing GI techniques. Our technique has the potential to replace existing precomputed and screen-space techniques for producing global illumination effects in dynamic scenes with physically-based rendering quality.

研究动机与目标

• 实现实时光线追踪级别的全局光照，适用于动态场景中的新型光照与相机配置。
• 通过学习从 G-buffers 到全局光照的可微映射，克服预计算光照贴图和屏幕空间技术的局限性。
• 探究生成模型是否能从屏幕空间数据中隐式学习复杂的光照效果。
• 评估在消费级硬件上训练 GAN 以用于实时光线追踪应用的可行性。
• 研究模型对未见过的场景配置（包括新物体和光照设置）的泛化能力。

提出的方法

• 训练一个条件生成对抗网络（cGAN），将 G-buffers（深度、法线、漫反射）和直接光照映射为全局光照输出。
• 使用路径追踪作为高保真度真实值用于监督训练，以确保结果的逼真性。
• 采用带有跳跃连接的 U-Net 架构生成器，以保留生成光照中的空间细节。
• 训练判别器以区分来自路径追踪的真实全局光照与生成的输出。
• 通过对抗损失和感知损失联合优化网络，以提升视觉保真度。
• 通过训练后网络的泛化能力，实现在未见场景配置下的推理。

实验结果

研究问题

• RQ1 深度生成模型能否从屏幕空间缓冲区中以高感知质量近似全局光照？
• RQ2 训练后的网络在训练期间未见过的新场景配置上泛化能力如何？
• RQ3 使用路径追踪作为训练真实值是否能带来比 VXGI 更快的收敛速度和更优的结果？
• RQ4 网络深度和基础层大小如何影响推理速度与视觉质量？
• RQ5 在渲染新物体或粒子系统时会出现哪些类型的伪影？是否可被缓解？

主要发现

• 在路径追踪真实值上训练的网络，其结果在人类评估中与真实值在视觉上无法区分，无明显差异。
• 即使在 VXGI 上训练，网络仍能生成高质量的间接光照和柔化阴影，表明对训练数据质量具有鲁棒性。
• 基础层大小为 K=128 的网络运行速度慢于 K=64 和 K=32，但仍显著快于路径追踪和 VXGI，证实了实时可行性的实现。
• 在路径追踪数据上训练可实现更快收敛（仅 10 个周期即达到良好结果），表明其特征学习能力更优。
• 在渲染粒子系统或新物体时会出现伪影，但通过使用更丰富的训练数据和更高保真度的真实值可有效减轻。
• 该模型能有效泛化至未见过的相机位置、光照方向和物体布局，实现高质量全局光照的动态场景渲染。