[论文解读] Learning Perspective Undistortion of Portraits

Yajie Zhao, Zeng Huang+7 more|arXiv (Cornell University)|May 18, 2019

Face recognition and analysis参考文献 71被引用 6

一句话总结

本文提出一种基于深度学习的方法，无需依赖3D人脸模型拟合，即可校正近距人像中的极端透视畸变。通过级联网络实现光流预测、特征修复和相机距离估计，该方法能够恢复缺失的面部特征，并显著提升人脸识别、关键点检测和3D重建的准确性，优于以往工作。

ABSTRACT

Near-range portrait photographs often contain perspective distortion artifacts that bias human perception and challenge both facial recognition and reconstruction techniques. We present the first deep learning based approach to remove such artifacts from unconstrained portraits. In contrast to the previous state-of-the-art approach, our method handles even portraits with extreme perspective distortion, as we avoid the inaccurate and error-prone step of first fitting a 3D face model. Instead, we predict a distortion correction flow map that encodes a per-pixel displacement that removes distortion artifacts when applied to the input image. Our method also automatically infers missing facial features, i.e. occluded ears caused by strong perspective distortion, with coherent details. We demonstrate that our approach significantly outperforms the previous state-of-the-art both qualitatively and quantitatively, particularly for portraits with extreme perspective distortion or facial expressions. We further show that our technique benefits a number of fundamental tasks, significantly improving the accuracy of both face recognition and 3D reconstruction and enables a novel camera calibration technique from a single portrait. Moreover, we also build the first perspective portrait database with a large diversity in identities, expression and poses, which will benefit the related research in this area.

研究动机与目标

• 解决非约束条件下近距人像中透视畸变带来的挑战，此类畸变会扭曲人类感知并降低计算机视觉任务性能。
• 克服以往方法依赖不准确3D人脸模型拟合的局限，尤其在极端畸变或复杂面部表情下表现不佳的问题。
• 开发一种鲁棒的端到端深度学习框架，实现畸变校正的同时恢复被遮挡的面部特征（如耳朵）。
• 构建首个大规模、多样化的成对畸变与去畸变人像数据集，用于模型训练与评估。
• 证明去畸变作为预处理步骤在提升下游任务（如人脸识别与3D人脸重建）性能方面的有效性。

提出的方法

• 训练相机距离预测网络，以估计输入人像的相机到人脸距离，从而为畸变校正光流网络提供输入信息。
• 使用光流预测网络生成逐像素位移图，将畸变输入图像映射至标准1.6米距离的参考姿态，同时保留高频细节。
• 采用修复网络通过生成建模技术合成一致且逼真的细节，以填补缺失的面部特征（如被遮挡的耳朵）。
• 实施纹理融合步骤，将光流网络输出的形变结果与修复网络生成的完整人脸图像进行融合，实现最终的去畸变图像合成。
• 利用从3D头像模型生成的合成数据集进行监督训练，该数据集包含多样化身份、姿态、表情与光照条件的成对人像。
• 设计双相机分束器装置，捕获具有相同姿态、表情与光照条件的真实世界人像对，从而实现在真实图像上的准确评估。

实验结果

研究问题

• RQ1 基于深度学习的方法是否能在不依赖3D人脸模型拟合的前提下，有效校正非约束条件下人像中的极端透视畸变？
• RQ2 基于光流的去畸变方法在多大程度上能恢复因透视效应而被遮挡的面部特征（如耳朵）？
• RQ3 作为预处理步骤，透视去畸变在多大程度上能提升人脸识别与3D人脸重建等下游任务的准确性？
• RQ4 基于单张图像的相机距离预测是否能提升在多样化人像条件下透视校正的泛化能力与准确性？
• RQ5 在合成数据集、约束数据集与非约束真实人像数据集上，该方法与先前最先进方法[25]相比，在定量与定性评估中表现如何？

主要发现

• 在预处理后的数据上，该方法的人脸验证准确率达到94.73%，显著优于原始畸变输入的91.37%，标准差为0.0067。
• 使用OpenPose进行关键点检测时，去畸变图像的成功率达到100%，而原始畸变人像为91%，平均归一化均方误差（NME）分别为4.4%与4.9%。
• 当使用去畸变输出作为输入时，3D人脸重建精度显著提升，几何误差相比基于畸变图像的基线方法明显降低。
• 该方法能有效恢复被遮挡的面部特征（如耳朵与面部轮廓），即使在极端透视畸变或强烈面部表情下亦表现良好。
• 在合成、约束与非约束真实人像数据集上，该方法在定性与定量评估中均优于先前最先进方法[25]。
• 该方法通过从单张人像中预测相机参数，实现了新颖的单图像相机标定技术，展现出超越去畸变任务的更广泛应用潜力。