[论文解读] MVF-Net: Multi-View 3D Face Morphable Model Regression

Fanzi Wu, Linchao Bao+6 more|ArXiv.org|Apr 9, 2019

Face recognition and analysis参考文献 41被引用 7

一句话总结

本文提出MVF-Net，一种端到端的深度学习框架，通过利用多视角之间的几何一致性，从多视角面部图像回归三维可变形模型（3DMM）参数。该方法引入了一种基于密集光流估计器的可微视角对齐损失，以最小化光度重投影误差，显著提升了单视角方法在光照变化和几何模糊情况下的三维人脸重建精度。

ABSTRACT

We address the problem of recovering the 3D geometry of a human face from a set of facial images in multiple views. While recent studies have shown impressive progress in 3D Morphable Model (3DMM) based facial reconstruction, the settings are mostly restricted to a single view. There is an inherent drawback in the single-view setting: the lack of reliable 3D constraints can cause unresolvable ambiguities. We in this paper explore 3DMM-based shape recovery in a different setting, where a set of multi-view facial images are given as input. A novel approach is proposed to regress 3DMM parameters from multi-view inputs with an end-to-end trainable Convolutional Neural Network (CNN). Multiview geometric constraints are incorporated into the network by establishing dense correspondences between different views leveraging a novel self-supervised view alignment loss. The main ingredient of the view alignment loss is a differentiable dense optical flow estimator that can backpropagate the alignment errors between an input view and a synthetic rendering from another input view, which is projected to the target view through the 3D shape to be inferred. Through minimizing the view alignment loss, better 3D shapes can be recovered such that the synthetic projections from one view to another can better align with the observed image. Extensive experiments demonstrate the superiority of the proposed method over other 3DMM methods.

研究动机与目标

• 解决由于缺乏可靠三维约束而导致的单视角三维人脸重建中的固有模糊性问题。
• 通过在端到端可训练框架中整合多视角几何约束，提升基于3DMM的重建性能。
• 通过直接从多视角输入回归3DMM参数，降低对SfM/MVS流程中噪声较大的初始三维重建的依赖。
• 通过可微对齐损失增强对不同视角间光照变化的鲁棒性。
• 仅使用深度学习实现最先进的三维人脸重建性能，无需迭代优化。

提出的方法

• 该方法使用卷积神经网络（CNN）直接从多视角面部图像回归3DMM形状和表情参数。
• 提出了一种光度重投影损失，用于比较观测图像与从预测的三维形状和相机位姿生成的合成图像。
• 提出了一种新型可微的密集光流估计器，用于计算观测图像与合成图像之间的对齐误差，从而实现几何一致性的反向传播。
• 通过将某一视角的合成图像投影到另一视角，利用预测的三维形状实现视图对齐损失，然后将该投影结果与目标视角的观测图像进行比较。
• 整个网络为端到端可训练结构，结合了3DMM参数回归与通过可微渲染和光流估计实现的几何一致性强制。
• 该框架利用3DMM提供的强三维人脸先验，同时利用多视角约束解决深度模糊问题。

实验结果

研究问题

• RQ1 多视角几何约束能否有效集成到深度学习框架中用于三维人脸重建？
• RQ2 基于可微光流的对齐损失是否相比标准光度损失能更好地提升3DMM参数回归性能？
• RQ3 在不同视角间光照不一致的条件下，该方法表现如何？
• RQ4 通过多视角监督的端到端学习是否能超越单视角3DMM回归方法？
• RQ5 视图对齐损失在多大程度上降低了训练过程中对局部极小值的敏感性？

主要发现

• 在MICC数据集上，该方法实现了1.220毫米的平均点到平面误差，优于所有单视角基线方法，包括MoFA和Tran等人[35]。
• 在光照不一致条件下，加入视图对齐损失后，与仅使用光度损失相比，重建误差降低了11.5%。
• 视觉对比显示，MVF-Net在鼻部和颧骨等区域生成了更准确的面部几何形状与表情，这些区域在单视角设置下存在明显模糊。
• 在图8中可见，同时使用光度损失和对齐损失训练的模型对光照变化具有更强的泛化能力；若缺少对齐损失，性能显著下降。
• 消融实验验证了可微光流估计器能有效反向传播对齐误差，从而改善收敛性与形状精度。
• 在MICC数据集的所有评估设置下，包括平均值、聚合值和加权平均值预测，该方法均达到了最先进性能。