[论文解读] Dictionary Integration using 3D Morphable Face Models for Pose-invariant Collaborative-representation-based Classification

Xiaoning Song, Zhenhua Feng+4 more|arXiv (Cornell University)|Nov 1, 2016

Face recognition and analysis参考文献 29被引用 6

一句话总结

该论文提出了一种基于3D可变形人脸模型（3DMM）的姿势不变性人脸分类方法，以增强基于协同表示的分类（CRC）。通过将3DMM拟合到2D人脸图像，该方法生成具有任意姿势变化的虚拟训练样本，将其整合到扩展字典中，并应用在线剔除策略以减少冗余并提高重建稀疏性。该方法在大姿势变化下表现优异，仅使用每类3个训练样本时在FERET数据集上达到94.0%的准确率。

ABSTRACT

The paper presents a dictionary integration algorithm using 3D morphable face models (3DMM) for pose-invariant collaborative-representation-based face classification. To this end, we first fit a 3DMM to the 2D face images of a dictionary to reconstruct the 3D shape and texture of each image. The 3D faces are used to render a number of virtual 2D face images with arbitrary pose variations to augment the training data, by merging the original and rendered virtual samples to create an extended dictionary. Second, to reduce the information redundancy of the extended dictionary and improve the sparsity of reconstruction coefficient vectors using collaborative-representation-based classification (CRC), we exploit an on-line elimination scheme to optimise the extended dictionary by identifying the most representative training samples for a given query. The final goal is to perform pose-invariant face classification using the proposed dictionary integration method and the on-line pruning strategy under the CRC framework. Experimental results obtained for a set of well-known face datasets demonstrate the merits of the proposed method, especially its robustness to pose variations.

研究动机与目标

• 解决在仅有限训练样本可用时，人脸识别中姿态变化带来的挑战。
• 提升在大姿态变化下基于协同表示的分类（CRC）的鲁棒性。
• 减少通过数据增强生成的扩展字典中的信息冗余。
• 开发一种在线剔除策略，以增强稀疏性并提高分类准确率。
• 将3D可变形人脸模型（3DMM）集成到CRC框架中，以提升在不同姿态变化下的泛化能力。

提出的方法

• 将3D可变形人脸模型（3DMM）拟合到训练字典中的2D人脸图像，以重建3D形状与纹理。
• 从重建的3D人脸在不同姿态角度上渲染虚拟2D人脸图像，以扩充训练集。
• 将原始样本与渲染的虚拟样本合并，形成用于训练的扩展字典。
• 应用在线剔除方案，识别并仅保留针对特定查询最具代表性的样本，以减少冗余。
• 在CRC框架中使用优化后的字典进行姿势不变性人脸分类。
• 在分类过程中动态优化字典，通过基于重建误差剔除代表性较弱的样本。

实验结果

研究问题

• RQ1 基于3DMM的虚拟数据增强是否能在大姿态变化下显著提升CRC性能？
• RQ2 3DMM生成的虚拟样本集成到CRC中，对重建系数的稀疏性与准确率有何影响？
• RQ3 在线剔除策略在保留分类准确率的同时，能在多大程度上减少扩展字典中的冗余？
• RQ4 在训练样本有限且存在姿态变化的情况下，所提方法与基线CRC和SRC相比表现如何？
• RQ5 在具有高外观可变性的数据集中，该方法是否比现有数据增强技术具有更好的泛化能力？

主要发现

• 所提出的3DPD-CRC方法在FERET数据集上仅使用每类3个随机选择的训练样本时，达到94.0%的人脸识别准确率，显著优于基线方法。
• 在PIE数据集上，该方法在使用4个训练样本时达到97.1%的准确率，展现出对姿态变化的强大鲁棒性。
• 在FERET数据集上，每类仅使用2个训练样本时，该方法达到81.5%的准确率，而标准CRC为55.6%，SRC为68.7%。
• 在线剔除策略通过减少冗余提升了性能，随着剔除比例增加至70%，识别率趋于稳定或略有提升。
• 该方法在FERET和PIE数据集上表现更优，这两个数据集的外观可变性高于ORL，表明其在复杂真实场景中更具有效性。
• 结果证实，基于3DMM的虚拟样本生成能有效捕捉传统数据增强方法难以建模的类内姿态变化。