[论文解读] Deep Scattering: Rendering Atmospheric Clouds with Radiance-Predicting Neural Networks

Simon Kallweit, Thomas Müller+3 more|arXiv (Cornell University)|Sep 15, 2017

Computer Graphics and Visualization Techniques参考文献 57被引用 44

一句话总结

本文提出了一种基于深度学习的方法，通过在预计算的云散射数据上训练辐射度预测神经网络（RPNNs），实现快速、高质量的大气云渲染。该方法使用分层3D描述符，逐步输入深层网络并结合残差连接，以预测多重散射辐射度，实现在数秒到数分钟内生成近乎照片级真实的渲染结果，显著快于路径追踪，同时保持动画所需的时序稳定性。

ABSTRACT

We present a technique for efficiently synthesizing images of atmospheric clouds using a combination of Monte Carlo integration and neural networks. The intricacies of Lorenz-Mie scattering and the high albedo of cloud-forming aerosols make rendering of clouds---e.g. the characteristic silverlining and the "whiteness" of the inner body---challenging for methods based solely on Monte Carlo integration or diffusion theory. We approach the problem differently. Instead of simulating all light transport during rendering, we pre-learn the spatial and directional distribution of radiant flux from tens of cloud exemplars. To render a new scene, we sample visible points of the cloud and, for each, extract a hierarchical 3D descriptor of the cloud geometry with respect to the shading location and the light source. The descriptor is input to a deep neural network that predicts the radiance function for each shading configuration. We make the key observation that progressively feeding the hierarchical descriptor into the network enhances the network's ability to learn faster and predict with high accuracy while using few coefficients. We also employ a block design with residual connections to further improve performance. A GPU implementation of our method synthesizes images of clouds that are nearly indistinguishable from the reference solution within seconds interactively. Our method thus represents a viable solution for applications such as cloud design and, thanks to its temporal stability, also for high-quality production of animated content.

研究动机与目标

• 解决蒙特卡洛路径追踪在高反照率、多重散射云渲染中的计算效率低下问题。
• 克服基于扩散的近似方法为追求速度而牺牲视觉保真度的局限性。
• 为动画和交互式设计等应用实现实时且达到制作质量的云渲染。
• 开发一种数据驱动方法，从云样本中学习复杂的散射行为，而无需在渲染时模拟所有光传输路径。

提出的方法

• 使用路径追踪对数十个云样本预计算辐射度分布，构建训练数据集。
• 对于每个着色点，提取相对于光源和视线方向的分层3D云几何描述符。
• 将分层描述符逐步输入深层神经网络，以提升特征学习和预测精度。
• 使用残差连接和mip-mapping技术提升网络性能和稳定性。
• 结合蒙特卡洛采样处理单次散射和可见性，同时使用神经网络预测多次散射，以降低方差。
• 训练网络以预测每个着色配置下所有方向的完整辐射度函数。

实验结果

研究问题

• RQ1 深度神经网络是否能在不于渲染时模拟每条光路的情况下，准确预测云中的多重散射辐射度？
• RQ2 与平面输入相比，渐进式输入分层几何描述符是否能提升网络性能和预测精度？
• RQ3 该方法是否能以显著缩短的渲染时间实现近乎照片级真实的渲染效果，相比传统路径追踪？
• RQ4 该方法在非云形物体或不同光照条件下泛化能力如何？
• RQ5 该方法在动画云序列中能否保持良好的时序稳定性？

主要发现

• 该方法生成的云图像与路径追踪参考图像几乎无法区分，感知质量与高保真模拟相当。
• 使用GPU实现后，渲染时间从全路径追踪的数十小时缩短至数秒到数分钟。
• 渐进式输入分层描述符显著提升了学习效率和预测精度，尤其在系数较少时表现更优。
• 网络在动画序列中保持了出色的时序稳定性，适用于电影和动画制作。
• 由于领域偏移，该方法在非云形物体上的泛化能力较差，表现为次表面散射被高估且远距离阴影不准确。
• 残差连接和mip-mapping显著提升了训练和推理过程中的网络性能与收敛速度。