[论文解读] MaterialGAN: Reflectance Capture using a Generative SVBRDF Model

Yu Guo, Cameron Smith+3 more|arXiv (Cornell University)|Sep 30, 2020

Computer Graphics and Visualization Techniques参考文献 18被引用 24

一句话总结

本文提出MaterialGAN，一种基于生成对抗网络（GAN）的逆渲染框架，仅通过3至7张手机闪光灯拍摄的照片即可捕获高保真度的空间变化双向反射分布函数（SVBRDF）。通过在StyleGAN2生成的材质先验潜在空间中进行优化，该方法生成逼真且可泛化的材质贴图，能够准确还原输入图像，并支持诸如形态变换等语义编辑操作。

ABSTRACT

We address the problem of reconstructing spatially-varying BRDFs from a small set of image measurements. This is a fundamentally under-constrained problem, and previous work has relied on using various regularization priors or on capturing many images to produce plausible results. In this work, we present MaterialGAN, a deep generative convolutional network based on StyleGAN2, trained to synthesize realistic SVBRDF parameter maps. We show that MaterialGAN can be used as a powerful material prior in an inverse rendering framework: we optimize in its latent representation to generate material maps that match the appearance of the captured images when rendered. We demonstrate this framework on the task of reconstructing SVBRDFs from images captured under flash illumination using a hand-held mobile phone. Our method succeeds in producing plausible material maps that accurately reproduce the target images, and outperforms previous state-of-the-art material capture methods in evaluations on both synthetic and real data. Furthermore, our GAN-based latent space allows for high-level semantic material editing operations such as generating material variations and material morphing.

研究动机与目标

• 解决从少量图像重建逼真SVBRDF的挑战，该问题本质上是欠定的，容易导致不切实际的结果。
• 通过引入学习到的、生成式的先验，克服手工设计先验和单路前馈深度网络的局限，以捕捉复杂的材质相关性。
• 实现高质量、可泛化的SVBRDF重建，使其在新型光照和视角条件下表现良好。
• 通过解耦的潜在空间支持高级语义编辑操作，如材质形态变换与变体生成。
• 证明基于GAN的潜在空间可作为逆渲染中材质捕获的强大隐式先验。

提出的方法

• 在大规模空间变化材质贴图数据集上训练基于StyleGAN2的生成模型MaterialGAN，以学习真实且多样的SVBRDF参数分布。
• 在MaterialGAN中应用可微渲染层，构建从潜在码到渲染图像的端到端可微管道。
• 通过最小化在闪光灯照明下渲染图像与捕获图像之间的感知误差和像素级误差，优化MaterialGAN的潜在向量。
• 利用MaterialGAN学习到的全局与局部相关性来正则化逆渲染过程，确保结果的真实性。
• 利用StyleGAN2的解耦潜在空间实现语义编辑，例如通过潜在码的线性插值实现材质形态变换。
• 在合成数据和真实世界数据上验证该方法，包括与最先进方法在1至7张输入图像数量下的对比。

实验结果

研究问题

• RQ1 在真实世界SVBRDF上训练的深度生成模型能否作为材质捕获中逆渲染的强大隐式先验？
• RQ2 与先前方法相比，基于GAN的材质先验潜在空间中的优化是否能提升重建质量与泛化能力？
• RQ3 基于GAN的潜在空间能否支持有意义的语义编辑操作，如材质形态变换与变体生成？
• RQ4 在真实世界捕获条件下，该方法的性能如何随输入图像数量变化？
• RQ5 与现有方法相比，该方法在新型光照与视角条件下的泛化能力如何？

主要发现

• 在合成与真实数据评估中，所提方法均优于最先进方法，生成的SVBRDF重建结果更具真实感与准确性。
• 在使用7张输入图像时，方法实现了高保真度重建，且在新型光照与视角条件下泛化良好，如动画渲染所示。
• 即使仅使用3张输入图像，方法也能生成合理结果，且随着输入数量增加，伪影逐渐减少。
• 基于GAN的潜在空间支持高质量的材质形态变换与变体生成，优于在像素空间中的简单线性插值。
• 该方法对初始化具有鲁棒性，且始终生成比以往基于优化的方法（如Gao et al., 2019）更清晰的结果。
• 由于MaterialGAN学习到的全局相关性，该框架在多种材质上泛化良好，包括具有复杂空间变化的材质。