[论文解读] Material Editing Using a Physically Based Rendering Network

Guilin Liu, Duygu Ceylan+3 more|arXiv (Cornell University)|Aug 1, 2017

Computer Graphics and Visualization Techniques参考文献 13被引用 6

一句话总结

本文提出了一种端到端的深度学习框架，通过联合预测单张图像的形状、光照和材质，再利用可微分的物理基础渲染层合成输出，实现基于图像的材质编辑。该方法在合成图像和真实图像上均取得了最先进性能，通过使用支持漫反射和镜面材质的可微分渲染器对前向图像形成过程进行建模，显著提升了视觉合理性与泛化能力。

ABSTRACT

The ability to edit materials of objects in images is desirable by many content creators. However, this is an extremely challenging task as it requires to disentangle intrinsic physical properties of an image. We propose an end-to-end network architecture that replicates the forward image formation process to accomplish this task. Specifically, given a single image, the network first predicts intrinsic properties, i.e. shape, illumination, and material, which are then provided to a rendering layer. This layer performs in-network image synthesis, thereby enabling the network to understand the physics behind the image formation process. The proposed rendering layer is fully differentiable, supports both diffuse and specular materials, and thus can be applicable in a variety of problem settings. We demonstrate a rich set of visually plausible material editing examples and provide an extensive comparative study.

研究动机与目标

• 通过解耦形状、光照和材质等内在物理属性，实现在单张图像2D内容创作中的逼真材质编辑。
• 通过使用可微分渲染层建模前向图像形成过程，解决内在图像分解中的歧义性。
• 通过在合成数据集上进行训练，并在真实图像上通过后优化 refine 预测，提升泛化能力与视觉合理性。
• 实现端到端学习，即使在真实世界数据缺乏真实标签的情况下，也能保持材质迁移的物理一致性。
• 证明将可微分渲染器集成到深度网络中，可实现更优的解耦效果与性能表现。

提出的方法

• 网络使用联合预测头，从单张输入图像中估计形状（法线）、光照（环境图）和材质（BRDF）。
• 这些预测的内在属性被输入到一个完全可微分的、基于物理的渲染层中，以模拟前向图像形成过程。
• 渲染层支持漫反射和镜面材质，并使用环境图来建模复杂的光照条件。
• 损失函数结合了对预测内在组件的L2损失和对渲染输出图像的感知损失，以提升视觉真实感。
• 网络在使用多样化材质和光照的渲染流水线生成的合成数据集上进行训练，从而实现对真实图像的泛化能力。
• 后优化通过非凸优化方法应用于真实图像，以最小化图像重建误差，并以预测的初始状态作为起点进行优化。

实验结果

研究问题

• RQ1 深度神经网络能否在不依赖先验假设的前提下，有效从单张图像中解耦出内在图像属性（形状、光照、材质）？
• RQ2 与基于黑箱特征的方法相比，集成可微分的物理基础渲染层在材质编辑质量与合理性方面有何提升？
• RQ3 在仅使用合成数据进行训练的情况下，网络在具有复杂材质与光照的真实图像上的泛化能力能达到何种程度？
• RQ4 将L2损失应用于内在预测与对渲染图像应用感知损失相结合，是否能产生比单独使用任一损失更优的视觉效果？
• RQ5 当初始预测不完美时，后优化是否能显著提升真实图像上的预测质量？

主要发现

• 所提方法在定量与定性评估中均优于基线模型，在应用后优化的合成数据上，感知SSIM达到0.9557，高于未使用后优化的0.9408。
• L2损失与感知损失的结合可产生比仅使用L2损失更清晰、更逼真的结果，而仅使用L2损失会导致预测结果模糊。
• 后优化显著提升了真实图像上的结果，所提方法在材质迁移方面相比Lombardi等人[13]与基线模型展现出更优的视觉效果。
• 即使仅在光照与材质有限的合成数据上进行训练，网络仍能为真实图像的后优化提供强大初始化，实现高质量编辑。
• 可微分渲染层支持通过图像形成物理过程的有效反向传播，使网络能够学习到物理上一致的表示。
• 该方法成功实现了真实图像中物体间材质的互换（图10），证明了其在训练分布之外的鲁棒性与泛化能力。