[论文解读] Face Anti-Spoofing Via Disentangled Representation Learning

Ke-Yue Zhang, Taiping Yao+7 more|arXiv (Cornell University)|Aug 19, 2020

Biometric Identification and Security参考文献 39被引用 16

一句话总结

本文提出了一种用于人脸反spoofing的解耦表征学习框架，通过将面部图像中的存活特征与内容特征分离，利用类似GAN的判别器以及LBP图和深度估计的双重监督，实现了在基准数据集上的最先进性能。该方法通过自监督解耦和多层次监督，学习到更具泛化能力、判别性更强的存活特征空间。

ABSTRACT

Face anti-spoofing is crucial to security of face recognition systems. Previous approaches focus on developing discriminative models based on the features extracted from images, which may be still entangled between spoof patterns and real persons. In this paper, motivated by the disentangled representation learning, we propose a novel perspective of face anti-spoofing that disentangles the liveness features and content features from images, and the liveness features is further used for classification. We also put forward a Convolutional Neural Network (CNN) architecture with the process of disentanglement and combination of low-level and high-level supervision to improve the generalization capabilities. We evaluate our method on public benchmark datasets and extensive experimental results demonstrate the effectiveness of our method against the state-of-the-art competitors. Finally, we further visualize some results to help understand the effect and advantage of disentanglement.

研究动机与目标

• 为解决现有面部反spoofing方法依赖纠缠特征且易过拟合于训练数据的局限性。
• 在面部图像中将与存活相关的表征与与内容相关的特征（如身份、光照）解耦。
• 通过自监督解耦学习更鲁棒、更具判别性的存活特征空间，以提升模型泛化能力。
• 探究存活特征的内在属性及其对spoof类型和采集设备的依赖性。
• 开发一种结合低级纹理（LBP）和高级深度线索的多监督框架，以实现更优的存活表征学习。

提出的方法

• 该方法将面部图像表征分解为两个解耦子空间：存活特征（与spoof相关）和内容特征（与身份/光照相关）。
• 使用类似GAN的判别器，以确保在真实与spoof图像之间交换特征时，生成图像的合理性。
• 辅助深度估计算法确保存活信息在真实与spoof图像翻译过程中的一致性传递。
• 在图像空间和潜在码空间均应用双向重建损失，以强制一致性并提取鲁棒的存活特征。
• 引入LBP图监督作为低级纹理约束，以正则化存活特征空间。
• 在特征空间和图像空间均施加深度监督，消融实验表明，对特征和图像采用不同监督策略的性能优于相同监督设置。

实验结果

研究问题

• RQ1 解耦表征学习能否有效分离面部图像中与存活相关的模式与与内容相关的差异？
• RQ2 不同监督方式（LBP、深度）如何影响所学习存活特征的质量与判别性？
• RQ3 存活特征在多大程度上依赖于spoof类型（如纸张、屏幕）而非采集设备？
• RQ4 在跨数据集设置下，解耦的存活特征空间是否比纠缠表征具有更好的泛化能力？
• RQ5 存活特征的内在属性是什么？它们在不同spoof方法和设备间如何变化？

主要发现

• 在OULU-NPU协议1上，通过LBP与深度图的分数融合，该方法实现了1.25%的ACER，优于最先进方法。
• 仅使用LBP图监督即可达到1.56%的ACER，表明低级纹理线索能有效正则化存活特征空间。
• 通过分数融合结合LBP与深度监督，性能最佳，ACER为1.25%，证实了两种监督方式的互补性。
• t-SNE可视化显示，即使未进行显式类型监督，存活特征也能根据spoof类型（如纸张与屏幕）形成明显聚类。
• 真实人脸的存活特征在不同设备间保持一致，而spoof特征则显著依赖于设备，表明设备特异性伪影被捕捉到了存活表征中。
• 图像翻译生成的delta图显示，存活特征交换在真实人脸间仅引起微小变化，但在真实与spoof图像之间引起显著且可区分的变化，证实了该方法对spoof伪影的高度敏感性。