[论文解读] Faces as Lighting Probes via Unsupervised Deep Highlight Extraction

Renjiao Yi, Chenyang Zhu+2 more|arXiv (Cornell University)|Mar 16, 2018

Advanced Vision and Imaging参考文献 36被引用 5

一句话总结

本文提出一种无监督深度学习方法，从单张图像中的人脸提取高光，并将其用作光照探针，以估计高精度、非参数化的环境图。通过利用同一人脸在多张真实图像中漫反射色度的低秩特性，模型在无需真实高光标注的情况下进行微调，实现了光照估计与光源三角测量方面的最先进性能。

ABSTRACT

We present a method for estimating detailed scene illumination using human faces in a single image. In contrast to previous works that estimate lighting in terms of low-order basis functions or distant point lights, our technique estimates illumination at a higher precision in the form of a non-parametric environment map. Based on the observation that faces can exhibit strong highlight reflections from a broad range of lighting directions, we propose a deep neural network for extracting highlights from faces, and then trace these reflections back to the scene to acquire the environment map. Since real training data for highlight extraction is very limited, we introduce an unsupervised scheme for finetuning the network on real images, based on the consistent diffuse chromaticity of a given face seen in multiple real images. In tracing the estimated highlights to the environment, we reduce the blurring effect of skin reflectance on reflected light through a deconvolution determined by prior knowledge on face material properties. Comparisons to previous techniques for highlight extraction and illumination estimation show the state-of-the-art performance of this approach on a variety of indoor and outdoor scenes.

研究动机与目标

• 解决仅从单张图像中利用人脸作为光照探针，估计高频、非参数化场景光照的挑战。
• 通过利用同一人脸在多张图像中漫反射色度的低秩特性，克服真实世界高光分离缺乏真实标注数据的问题。
• 通过恢复详细、高频的光照，超越依赖低阶球谐函数或仅漫反射假设的先前方法。
• 通过从单张图像中多个脸部分别估计的环境图进行三角测量，实现局部点光源的精确三维定位。

提出的方法

• 在合成人脸图像上训练深度神经网络，通过图形渲染的真实标注分离高光与漫反射分量。
• 利用同一人多张对齐图像中漫反射色度的低秩约束，在真实人脸图像上进行无监督微调。
• 利用恢复的高光，结合人脸材质特性的先验知识，通过反卷积过程追溯至环境，以减少皮肤反射导致的模糊。
• 通过频域反卷积重建完整环境图，其中核函数由已知的人脸反射率模型推导，以恢复高频光照分量。
• 通过从单张图像中多个脸部分别估计的环境图进行三角测量，估计局部光源的三维位置。
• 使用包含捕获的HDR环境图的合成场景验证方法，并与最先进方法在重光照误差和光源定位精度方面进行对比。

实验结果

研究问题

• RQ1 在无真实高光标注的情况下，真实图像中的人脸能否有效用作光照探针，以估计高精度、非参数化的环境图？
• RQ2 无监督学习如何利用同一人脸在多张图像中漫反射色度的低秩特性，来提升真实数据中高光提取的性能？
• RQ3 与基于标准卷积的方法相比，使用材质感知核函数的反卷积在恢复高频光照细节方面能提升多少？
• RQ4 单张图像中多个脸部分别估计的环境图能否实现局部光源三维位置的亚米级精度三角测量？

主要发现

• 无监督微调策略显著优于仅在合成数据上监督训练的性能，经交叉偏振真实标注验证。
• 该方法在室内和室外场景中均实现了最先进的重光照误差表现，优于基于球谐函数、仅漫反射假设以及在非人脸数据上训练的方法。
• 估计的环境图比低阶球谐函数或仅漫反射模型更准确地恢复高频光照细节，后者往往导致反照率估计过白或模糊。
• 该方法可实现局部光源的精确三角测量：位置误差分别为0.41m和0.51m，当使用真实人脸位置时，误差降低至0.20m和0.49m。
• 该方法在多样化的室内和室外场景中泛化良好，包括先前方法无法捕捉方向性光源的复杂光照环境。
• 使用估计光照进行虚拟物体插入，相比基线方法产生更逼真的结果，阴影更自然，颜色不一致更少。