[论文解读] BioFaceNet: Deep Biophysical Face Image Interpretation

Sarah Alotaibi, William A. P. Smith|arXiv (Cornell University)|Aug 28, 2019

Face recognition and analysis参考文献 22被引用 5

一句话总结

BioFaceNet 提出了一种深度卷积神经网络，可将单张 RGB 人脸图像分解为生物物理参数——黑色素和血红蛋白分布图，以及漫反射和镜面光照分量、光谱照明和相机灵敏度。通过施加生物物理和物理先验，该方法在基于多光谱数据生成伪真实标签的新基准上实现了最先进性能，实现了具有物理意义的图像编辑，并在真实感方面优于以往方法。

ABSTRACT

In this paper we present BioFaceNet, a deep CNN that learns to decompose a single face image into biophysical parameters maps, diffuse and specular shading maps as well as estimating the spectral power distribution of the scene illuminant and the spectral sensitivity of the camera. The network comprises a fully convolutional encoder for estimating the spatial maps with a fully connected branch for estimating the vector quantities. The network is trained using a self-supervised appearance loss computed via a model-based decoder. The task is highly underconstrained so we impose a number of model-based priors. Skin spectral reflectance is restricted to a biophysical model, we impose a statistical prior on camera spectral sensitivities, a physical constraint on illumination spectra, a sparsity prior on specular reflections and direct supervision on diffuse shading using a rough shape proxy. We show convincing qualitative results on in-the-wild data and introduce a benchmark for quantitative evaluation on this new task.

研究动机与目标

• 为解决在非受限环境下缺乏生物物理约束的深度学习方法来分解人脸外观的问题。
• 将单张人脸图像分解为可解释的生物物理参数，如黑色素和血红蛋白，以及漫反射和镜面光照分量。
• 在施加物理和统计约束的前提下，估计光谱照明和相机灵敏度，以提升真实感和合理性。
• 建立一个基准，用于评估基于多光谱图像生成的伪真实标签的生物物理人脸分解方法。
• 通过操纵黑色素和血红蛋白等参数图，实现直观且具有物理意义的图像编辑。

提出的方法

• 网络使用全卷积编码器来预测黑色素、血红蛋白、漫反射和镜面光照的特征图，以及使用全连接分支来估计向量量（照明和相机灵敏度）。
• 基于模型的解码器通过从预测参数重建输入图像来计算自监督外观损失，从而实现无监督训练。
• 生物物理先验将皮肤反射率约束在黑色素与血红蛋白构成的流形上，确保生成真实感皮肤颜色。
• 对相机光谱灵敏度施加统计先验，物理约束确保照明光谱的合理性。
• 使用稀疏性先验来抑制不真实的镜面高光，同时通过粗略形状代理对漫反射光照施加直接监督。
• 训练采用损失的加权组合，超参数在 CelebA 的 50k 子集上进行调优，仅能访问多光谱数据的 RGB 渲染结果。

实验结果

研究问题

• RQ1 深度卷积神经网络能否在真实世界、非受限条件下，学习将单张 RGB 人脸图像分解为生物物理上合理的皮肤色素图（如黑色素和血红蛋白）？
• RQ2 生物物理和物理先验在约束人脸外观分解这一高度欠定问题方面有多有效？
• RQ3 基于模型的解码器的自监督学习方法能否在无真实标签监督的情况下，实现优于最先进方法的性能？
• RQ4 预测的参数图在多大程度上能够实现真实且直观的图像编辑？
• RQ5 当在基于多光谱数据生成的伪真实标签基准上评估时，BioFaceNet 的性能与现有方法相比如何？

主要发现

• 在所提出的基准上评估时，与 SfSnet 方法 [Sengupta 等 (2018)] 相比，BioFaceNet 在漫反射光照和反照率图上的 RMSE 更低，定量性能更优。
• 模型生成的结果在定性上令人信服，能准确定位皮肤色调中的黑色素以及发红脸颊和嘴唇中的血红蛋白。
• 编辑黑色素图可增加皮肤暗度（模拟日晒效果），编辑血红蛋白图可产生面部潮红效果，表明其具有直观的物理可解释性。
• 镜面反射图能成功检测镜面高光，且移除高光后颜色变化一致，验证了分解结果的物理合理性。
• 使用生物物理皮肤模型显著提升了真实感，并减少了不合理的皮肤颜色，相较于无约束的反照率模型。
• 尽管施加了强先验，稀疏镜面反射先验仍导致反照率图出现过饱和现象，表明正则化策略仍需进一步优化。