[论文解读] Inverse Transport Networks

Chengqian Che, Fujun Luan+3 more|arXiv (Cornell University)|Sep 28, 2018

Computer Graphics and Visualization Techniques参考文献 53被引用 25

一句话总结

本文提出逆向传输网络（ITNs），一种结合可微分渲染与物理感知正则化的深度学习架构，通过确保预测的场景参数不仅匹配真实值，还能在渲染后重现输入图像，从而提升逆向渲染性能。其主要贡献是一种通用的可微分渲染器，支持通过随机梯度下降实现端到端训练，与标准学习方法相比，显著提升了对未见几何形状和光照条件的泛化能力。

ABSTRACT

We introduce inverse transport networks as a learning architecture for inverse rendering problems where, given input image measurements, we seek to infer physical scene parameters such as shape, material, and illumination. During training, these networks are evaluated not only in terms of how close they can predict groundtruth parameters, but also in terms of whether the parameters they produce can be used, together with physically-accurate graphics renderers, to reproduce the input image measurements. To en- able training of inverse transport networks using stochastic gradient descent, we additionally create a general-purpose, physically-accurate differentiable renderer, which can be used to estimate derivatives of images with respect to arbitrary physical scene parameters. Our experiments demonstrate that inverse transport networks can be trained efficiently using differentiable rendering, and that they generalize to scenes with completely unseen geometry and illumination better than networks trained without appearance- matching regularization.

研究动机与目标

• 解决纯数据驱动的逆向渲染方法在未见几何形状和光照条件下泛化能力差的局限性。
• 通过将深度学习与可微分渲染结合，克服传统基于物理的逆向渲染在计算上的不可行性。
• 开发一种通用的可微分渲染器，能够计算复杂光传输效应（如多次反射和次表面散射）的梯度。
• 通过正则化目标函数训练逆向网络，强制预测参数与渲染图像之间的一致性。
• 在涉及多路径光传输的复杂逆向散射问题上，展示优越的泛化性能。

提出的方法

• 提出逆向传输网络（ITNs），一种神经网络架构，通过输入图像测量值预测物理场景参数（如形状、材质、光照）。
• 引入一种通用的可微分蒙特卡洛渲染器，支持对任意场景参数（包括几何、材质和光照）计算梯度。
• 采用光传输的路径积分公式，建模复杂的全局光照效应，如多次反射和次表面散射。
• 使用随机梯度下降优化正则化损失函数，该函数结合了真实参数监督与图像重建损失。
• 利用可微分渲染器将图像重建误差反向传播通过渲染过程，实现端到端训练。
• 将该框架应用于均匀逆向散射问题，这是一个具有高度多路径光传输的挑战性逆向问题。

实验结果

研究问题

• RQ1 是否可以训练一种深度学习架构，使其生成的场景参数不仅与真实值匹配，还能通过正向渲染重现输入图像？
• RQ2 通过可微分渲染引入图像重建一致性后，对未见几何形状和光照条件的泛化能力有何影响？
• RQ3 可微分渲染器是否能够在处理复杂光传输效应（如多次反射和次表面散射）的同时，仍保持高效的梯度计算？
• RQ4 与标准监督学习相比，采用图像一致性正则化训练是否能提升逆向渲染任务的性能？
• RQ5 逆向传输网络在测试时面对完全未见过的形状和光照配置，其泛化能力能达到何种程度？

主要发现

• 与未使用外观匹配正则化的标准学习方法相比，逆向传输网络在未见几何形状和光照条件下的泛化能力显著更优。
• 可微分渲染器支持通过随机梯度下降实现端到端训练，即使在处理多次反射和次表面散射等复杂光传输现象时亦然。
• 正则化训练目标（同时最小化参数误差与图像重建误差）可生成更具物理合理性和泛化能力的预测结果。
• 在均匀逆向散射问题上的实验表明，ITNs 在高度复杂的多路径光传输条件下，能更优地重建场景参数。
• 该方法在完全未见过的几何形状与光照条件下仍能有效泛化，表明对测试数据分布偏移具有鲁棒性。
• 可微分渲染的使用使得梯度可传播至任意场景参数，使该框架适用于广泛的逆向渲染问题。