[论文解读] Style Your Face Morph and Improve Your Face Morphing Attack Detector

Clemens Seibold, Anna Hilsmann+1 more|arXiv (Cornell University)|Apr 23, 2020

Face recognition and analysis参考文献 16被引用 14

一句话总结

本文提出一种基于深度神经网络的风格迁移方法，通过逆转形态融合过程中引起的图像退化，提升人脸形态图像的视觉质量。经增强的形态图像在多个最先进的面部形态攻击检测（MAD）系统中显著降低了检测率，但使用这些增强形态图像进行训练可提升这些系统对所提方法及其他图像质量增强技术（如直方图均衡化和锐化）的鲁棒性。

ABSTRACT

A morphed face image is a synthetically created image that looks so similar to the faces of two subjects that both can use it for verification against a biometric verification system. It can be easily created by aligning and blending face images of the two subjects. In this paper, we propose a style transfer based method that improves the quality of morphed face images. It counters the image degeneration during the creation of morphed face images caused by blending. We analyze different state of the art face morphing attack detection systems regarding their performance against our improved morphed face images and other methods that improve the image quality. All detection systems perform significantly worse, when first confronted with our improved morphed face images. Most of them can be enhanced by adding our quality improved morphs to the training data, which further improves the robustness against other means of quality improvement.

研究动机与目标

• 解决面部形态攻击检测（MAD）系统对图像质量提升的脆弱性，此类提升可抵消混合引起的退化。
• 研究通过风格迁移增强形态化人脸图像是否可逃避现有MAD系统并削弱其可靠性。
• 评估将这些增强形态图像纳入训练数据是否能提升对其他图像质量增强技术（如直方图均衡化和锐化）的泛化能力和鲁棒性。
• 证明即使细微的图像质量提升也可显著降低MAD系统性能，凸显对鲁棒训练数据增强的必要性。

提出的方法

• 通过使用两张源人脸的平均风格作为目标风格，对形态化人脸图像应用神经风格迁移。
• 训练深度神经网络以最小化内容损失（保持形态结构）和风格损失（匹配输入人脸的平均风格）。
• 利用预训练卷积神经网络（如VGG）的特征图的格拉姆矩阵来定义多层中的风格表征。
• 通过反向传播优化生成图像，利用内容损失和风格损失的梯度生成高质量形态图像。
• 将训练好的模型应用于标准混合形态图像，生成增强形态图像，以改善纹理细节并减少暗淡感。
• 将增强形态图像整合到多种MAD系统的训练数据中，以评估其对泛化能力和鲁棒性的影响。

实验结果

研究问题

• RQ1 当面对经过风格迁移增强的形态化人脸图像时，最先进的MAD系统相较于标准形态图像，其失效程度如何？
• RQ2 在使用风格迁移增强形态图像进行训练后，MAD系统对其他图像质量增强技术（如直方图均衡化和锐化）的鲁棒性是否得到提升？
• RQ3 当在增强形态图像与原始形态图像上进行测试时，MAD系统的性能指标（APCER、BPCER）如何变化？
• RQ4 在训练数据中包含增强形态图像是否能提升其在多种图像质量提升类型上的泛化能力？
• RQ5 基于手工设计特征（如LBP、BSIF）与基于深度神经网络的MAD系统，对同一增强技术的响应有何不同？

主要发现

• 所有评估的MAD系统，尤其是基于深度神经网络的检测器，在测试增强形态图像时检测性能显著下降，DNN朴素模型的APCER从1.5%上升至29.9%。
• 在使用风格迁移增强形态图像进行训练后，MAD系统对同一增强方法及其他质量提升技术（如直方图均衡化和锐化）的检测率显著提高。
• 基于DNN的检测器在原始状态下对增强技术最为脆弱，但当使用增强形态图像重新训练后，其鲁棒性提升最大，在组合攻击下实现5% APCER时BPCER为3.3%。
• 增强形态图像的生物特征质量保持较高水平，rMAR1000为93.2%，rMAR10000为87.0%，表明在形态场景中具有强真实感和接受率。
• 图像增强导致的性能下降并非局限于单一方法——直方图均衡化和锐化同样严重降低检测率，尤其对基于DNN的系统影响显著。
• 所提方法能有效抵消混合引起的图像退化，恢复高频频段细节（如皱纹和毛孔），而这些细节对依赖纹理分析的检测系统至关重要。