[论文解读] Exploring Hypergraph Representation on Face Anti-spoofing Beyond 2D Attacks

Wei Hu, Gusi Te+3 more|arXiv (Cornell University)|Nov 28, 2018

Biometric Identification and Security参考文献 30被引用 4

一句话总结

该论文提出了一种用于3D人脸反 spoofing的超图卷积神经网络（HGCNN），通过使用面部关键点的紧凑超图表示，实现姿态不变且计算高效的特征学习。通过超图卷积融合RGB与深度模态，并引入深度辅助监督，该方法在2D和3D反 spoofing基准上均取得了最先进性能，包括一个新构建的包含彩色、深度和红外数据的3D人脸攻击数据库。

ABSTRACT

Face anti-spoofing plays a crucial role in protecting face recognition systems from various attacks. Previous model-based and deep learning approaches achieve satisfactory performance for 2D face spoofs, but remain limited for more advanced 3D attacks such as vivid masks. In this paper, we address 3D face anti-spoofing via the proposed Hypergraph Convolutional Neural Networks (HGCNN). Firstly, we construct a computation-efficient and posture-invariant face representation with only a few key points on hypergraphs. The hypergraph representation is then fed into the designed HGCNN with hypergraph convolution for feature extraction, while the depth auxiliary is also exploited for 3D mask anti-spoofing. Further, we build a 3D face attack database with color, depth and infrared light information to overcome the deficiency of 3D face anti-spoofing data. Experiments show that our method achieves the state-of-the-art performance over widely used 3D and 2D databases as well as the proposed one under various tests.

研究动机与目标

• 解决3D面具攻击在人脸反 spoofing中的挑战，尽管2D攻击检测已取得进展，但此类攻击仍研究不足。
• 克服传统2D方法和简单图模型在捕捉高阶面部关系与姿态变化方面的局限性。
• 仅基于关键点在超图上构建计算高效且鲁棒的面部表示，以降低复杂度同时保留判别性特征。
• 通过超图卷积整合深度信息，以增强对日益逼真且难以检测的3D面具的检测能力。
• 构建一个包含彩色、深度和红外数据的综合性3D人脸攻击数据库，以缓解多样且高质量3D欺骗数据稀缺的问题。

提出的方法

• 仅使用68个面部关键点及插值点构建超图表示，通过超边建模高阶关系，确保姿态不变性。
• 设计一种超图卷积神经网络（HGCNN），对RGB和深度模态的输入应用超图卷积，以提取分层特征。
• 对RGB和深度输入采用相同的超图结构，实现联合特征学习，同时保留模态特异性特征。
• 在超图卷积后融合深度与RGB特征，利用深度作为辅助信号，提升3D面具检测性能。
• 采用多模态输入策略，结合RGB与HSV色彩空间，增强纹理表示，将输入通道数增加至6，以实现更丰富的特征学习。
• 通过提高超边度数优化超图构建，以捕捉全局面部模式，提升对稀疏关键点定位的鲁棒性。

实验结果

研究问题

• RQ1 基于超图的表示能否有效建模高阶面部关系，同时对姿态和表情变化保持不变？
• RQ2 与标准图卷积相比，超图卷积在人脸反 spoofing中在多大程度上提升了特征学习能力？
• RQ3 通过共享超图结构融合RGB与深度模态，在检测3D面具攻击方面有多高效？
• RQ4 新收集的包含多光谱数据（RGB、深度、红外）的3D人脸攻击数据库能否提升模型在真实世界欺骗攻击下的泛化能力与性能？
• RQ5 所提方法是否在包括2D与3D攻击场景在内的多样化基准上均实现了最先进性能？

主要发现

• 在FA3D数据集的内部测试协议1下，所提HGCNN的ACER为0.7%，在3D面具检测中优于现有方法。
• 在Oulu-NPU数据集上，HGCNN（RGB+HSV）的ACER为6.4%，优于MixedFASNet和GRADIANT_extra等基线方法，展现出强大的2D反 spoofing能力。
• 在跨数据集测试（FA3D-3DMAD）中，模型的HTER为34.0%，EER为43.0%，表明尽管存在光照与深度差异的领域偏移，仍具备强大泛化能力。
• 可视化结果表明，经过两层超图卷积后，相邻关键点（如眼部与口周区域）之间的特征距离显著减小，表明特征聚类效果得到改善。
• 深度辅助信号显著提升了3D面具攻击的检测性能，消融实验证实其在区分高保真3D面具与真实人脸中的关键作用。
• 在FA3D数据集上，面对受试者变化，模型达到99.6%的准确率和0.5%的HTER，展现出对受试者多样性变化的鲁棒性。