[论文解读] A Unified Tensor-based Active Appearance Face Model

Zhenhua Feng, Josef Kittler+2 more|arXiv (Cornell University)|Dec 30, 2016

Face recognition and analysis参考文献 62被引用 6

一句话总结

本文提出了一种统一张量化的主动外观模型（UT-AAM），通过单一张量模型联合建模姿态、表情和光照变化下的面部形状与纹理。通过利用张量补全技术处理不完整数据集，并采用级联回归拟合策略，UT-AAM 实现了鲁棒的面部合成，并提升了面部关键点检测的准确性，在 300-W 数据集上通过数据增强实现了最先进性能。

ABSTRACT

Appearance variations result in many difficulties in face image analysis. To deal with this challenge, we present a Unified Tensor-based Active Appearance Model (UT-AAM) for jointly modelling the geometry and texture information of 2D faces. For each type of face information, namely shape and texture, we construct a unified tensor model capturing all relevant appearance variations. This contrasts with the variation-specific models of the classical tensor AAM. To achieve the unification across pose variations, a strategy for dealing with self-occluded faces is proposed to obtain consistent shape and texture representations of pose-varied faces. In addition, our UT-AAM is capable of constructing the model from an incomplete training dataset, using tensor completion methods. Last, we use an effective cascaded-regression-based method for UT-AAM fitting. With these advancements, the utility of UT-AAM in practice is considerably enhanced. As an example, we demonstrate the improvements in training facial landmark detectors through the use of UT-AAM to synthesise a large number of virtual samples. Experimental results obtained using the Multi-PIE and 300-W face datasets demonstrate the merits of the proposed approach.

研究动机与目标

• 解决经典张量 AAM 在处理姿态、表情和光照变化下存在缺失样本的不完整训练数据集时的局限性。
• 将多种特定于变化的模型统一为单一、一致的张量模型，以减少复杂性并提升泛化能力。
• 开发一种鲁棒的拟合方法，避免依赖先验状态估计，并减少优化过程中的局部极小值问题。
• 实现任意姿态变化下逼真的虚拟面部图像合成，用于面部关键点检测中的数据增强。
• 通过合成训练数据展示 UT-AAM 在提升面部关键点检测器性能方面的实用性。

提出的方法

• 利用高阶奇异值分解（HOSVD）构建统一的张量模型，用于形状与纹理建模，以单一表示捕捉多因素外观变化。
• 应用张量补全算法重建不完整数据集中的缺失训练样本，实现在无需完整数据采集情况下的模型训练。
• 提出一种统一的关键点定位策略，以处理极端姿态变化下的自遮挡面部区域，确保形状与纹理表示的一致性。
• 开发基于级联回归的拟合算法，避免对先验状态估计的依赖，提升收敛性与准确性。
• 利用训练好的 UT-AAM 合成 46,800 个具有多样化姿态、表情和光照变化的虚拟面部实例，用于数据增强。
• 在训练级联回归模型（SDM 和 CCR）时，结合真实与合成面部数据，并采用动态加权策略以减轻域偏移影响。

实验结果

研究问题

• RQ1 统一张量模型是否能在无需完整训练数据的情况下，有效表示跨多种外观变化的面部形状与纹理？
• RQ2 如何处理大姿态变化下的自遮挡问题，以确保形状与纹理建模的一致性？
• RQ3 张量补全技术是否能够实现在面部建模中从不完整训练数据集中可靠构建模型？
• RQ4 基于级联回归的拟合策略是否在准确性和鲁棒性方面优于基于梯度下降的方法？
• RQ5 由 UT-AAM 生成的合成面部图像在多大程度上能提升面部关键点检测器在真实世界基准上的性能？

主要发现

• 所提出的 UT-AAM 成功利用张量补全技术，从不完整训练数据中构建单一统一的张量模型，实现在无需完整数据采集情况下的鲁棒模型学习。
• 统一的关键点定位策略能有效处理极端姿态下自遮挡的面部区域，确保在不同姿态变化下形状与纹理表示的一致性。
• 基于级联回归的拟合方法在状态估计不准确时，仍能获得比基于梯度下降的方法更精确的拟合结果。
• 利用 UT-AAM 合成的 46,800 个虚拟面部实例显著提升了在 300-W 基准上的面部关键点检测性能，优于基线 SDM 和 CCR 方法。
• 在 CCR 训练中联合使用真实与合成面部数据，在 300-W 数据集的室外和室内子集上均实现了最先进性能。
• 该方法在通过提供大规模、多样化的合成训练数据，显著增强基于深度学习的面部关键点检测方面展现出强大潜力。