[论文解读] Dynamic Graph Representation for Partially Occluded Biometrics

Min Ren, Yunlong Wang+2 more|arXiv (Cornell University)|Dec 1, 2019

Biometric Identification and Security参考文献 40被引用 4

一句话总结

本文提出动态图表示（DGR），一种新颖的深度学习框架，结合卷积神经网络（CNN）与图模型，以处理生物识别中的部分遮挡问题。通过从CNN激活中构建动态特征图，并自适应地移除对应遮挡区域的节点，DGR提升了识别准确率，并提供可解释的、基于推理的决策，显著优于在虹膜和人脸识别基准上的CNN与掩码策略。

ABSTRACT

The generalization ability of Convolutional neural networks (CNNs) for biometrics drops greatly due to the adverse effects of various occlusions. To this end, we propose a novel unified framework integrated the merits of both CNNs and graphical models to learn dynamic graph representations for occlusion problems in biometrics, called Dynamic Graph Representation (DGR). Convolutional features onto certain regions are re-crafted by a graph generator to establish the connections among the spatial parts of biometrics and build Feature Graphs based on these node representations. Each node of Feature Graphs corresponds to a specific part of the input image and the edges express the spatial relationships between parts. By analyzing the similarities between the nodes, the framework is able to adaptively remove the nodes representing the occluded parts. During dynamic graph matching, we propose a novel strategy to measure the distances of both nodes and adjacent matrixes. In this way, the proposed method is more convincing than CNNs-based methods because the dynamic graph method implies a more illustrative and reasonable inference of the biometrics decision. Experiments conducted on iris and face demonstrate the superiority of the proposed framework, which boosts the accuracy of occluded biometrics recognition by a large margin comparing with baseline methods.The code is avaliable at https://github.com/RenMin1991/Dyamic\_Graph\_Representation

研究动机与目标

• 解决CNN在生物识别中面对部分遮挡时泛化性能严重下降的问题。
• 克服掩码策略的局限性，后者在特征提取后应用时易出错且具有破坏性。
• 开发一个统一框架，整合CNN与图模型，实现对遮挡的鲁棒处理。
• 通过可视化特征图中的节点相似性与结构匹配，提供可解释的、基于推理的决策。
• 提升非受限生物识别场景下的类内相似性与泛化能力。

提出的方法

• 图生成器从CNN特征图中提取空间区域，并在它们之间建立连接，形成特征图，其中节点代表图像部分，边编码空间关系。
• 一种新型的挤压-激励图注意力网络（SE-GAT）处理特征图，利用注意力机制优化节点表示。
• 在匹配过程中，框架基于相似性分析动态移除对应遮挡区域的节点，实现自适应且鲁棒的比较。
• 双距离匹配策略计算节点特征与邻接矩阵之间的相似性，增强判别能力。
• 该框架端到端可训练，整合了基于CNN的特征提取与可微分图操作。
• 该方法通过图结构自适应调整而非特征抑制，避免了预掩码，学习忽略遮挡区域。

实验结果

研究问题

• RQ1 能否通过结合CNN与图模型的统一深度学习框架，在生物识别的部分遮挡情况下提升识别准确率？
• RQ2 在遮挡生物识别中，采用自适应节点移除的动态图构建是否优于固定掩码策略？
• RQ3 图表示能否提供比标准CNN更具可解释性和合理性的决策推理？
• RQ4 所提方法在非受限生物识别设置下对类内相似性与泛化能力有何影响？
• RQ5 在准确率与计算成本之间取得平衡时，特征图中的最优节点数量是多少？

主要发现

• 在30%遮挡的Occluded-LFW数据集上，所提方法在FRR=0.1%时达到71.8%的TPR，显著优于LCNN-9的22.47%。
• 在50%遮挡情况下，该方法在FRR=0.1%时达到25.19%的TPR，而LCNN-9仅为8.47%，表明对严重遮挡具有鲁棒性。
• 在ND CrossSensor Iris 2013 Dataset-LG4000上，该方法在使用32个节点时EER达到0.62%，优于基线模型与掩码策略。
• 实验表明，在特征提取前对遮挡区域进行掩码会损害性能，表明掩码在端到端深度学习框架中具有破坏性。
• 特征图可视化证实，模型聚焦于最相似的区域（如眼睛周围），为匹配决策提供了可解释的推理依据。
• 参数分析显示，32个节点在准确率与计算成本之间达到最佳平衡，EER为0.62%。