[论文解读] SelfKin: Self Adjusted Deep Model For Kinship Verification

Eran Dahan, Yosi Keller|arXiv (Cornell University)|Sep 22, 2018

Face recognition and analysis参考文献 10被引用 6

一句话总结

本文提出 SelfKin，一种用于亲属关系验证的自适应深度学习模型，可自动学习具有区分性的面部特征，而无需依赖身份标签。通过引入可学习的特征加权层和局部-全局分类器，该模型在不损失性能的前提下将网络参数减少50%，并在 RFIW2018 挑战赛中取得最先进结果，在严格、仅限图像的设置下优于现有方法。

ABSTRACT

One of the unsolved challenges in the field of biometrics and face recognition is Kinship Verification. This problem aims to understand if two people are family-related and how (sisters, brothers, etc.) Solving this problem can give rise to varied tasks and applications. In the area of homeland security (HLS) it is crucial to auto-detect if the person questioned is related to a wanted suspect, In the field of biometrics, kinship-verification can help to discriminate between families by photos and in the field of predicting or fashion it can help to predict an older or younger model of people faces. Lately, and with the advanced deep learning technology, this problem has gained focus from the research community in matters of data and research. In this article, we propose using a Deep Learning approach for solving the Kinship-Verification problem. Further, we offer a novel self-learning deep model, which learns the essential features from different faces. We show that our model wins the Recognize Families In the Wild(RFIW2018,FG2018) challenge and obtains state-of-the-art results. Moreover, we show that our proposed model can reduce the size of the network by half without loss in performance.

研究动机与目标

• 为解决在训练过程中缺乏身份标签或家庭结构信息时的亲属关系验证挑战。
• 开发一种深度学习模型，可自动学习与亲属关系验证相关的面部特征，而无需先验理论或手工设计特征。
• 通过自适应特征加权机制将模型复杂度降低一半，同时不牺牲性能。
• 在仅提供成对图像、无ID或元数据的严格场景下，提升亲属关系验证的性能。
• 引入局部-全局分类器，以增强特征融合，实现更精确的亲属关系预测。

提出的方法

• 该模型采用自适应层，可基于特征与亲属关系验证的相关性动态分配权重。
• 使用局部-全局分类器，将来自两种面部表征的特征进行融合，增强亲属对与非亲属对之间的判别能力。
• 通过三元组类似损失函数进行端到端训练，以优化用于亲属关系分类的特征嵌入。
• 自适应层可在训练过程中实现对不相关特征的剪枝，将模型大小减少50%，且性能下降极小。
• 网络架构基于 VGG-16 进行特征提取，并增加全连接层和 Dropout 以实现正则化。
• 模型在严格场景下进行训练与评估，仅使用图像对，无法访问身份标签或家庭结构信息。

实验结果

研究问题

• RQ1 深度学习模型是否能无需依赖身份标签或先验理论，自动学习与亲属关系验证相关的面部特征？
• RQ2 自适应特征加权层在保持性能的前提下，能在多大程度上降低模型复杂度？
• RQ3 局部与全局分类的结合如何改善亲属关系验证中的特征融合？
• RQ4 所提出的模型在无ID信息的严格、仅限图像的场景下是否具有良好泛化能力？
• RQ5 自适应层是否可用于识别并移除冗余特征，同时不降低准确性？

主要发现

• SelfKin 模型在 RFIW2018（FG2018）挑战赛中取得最先进性能，在严格场景下赢得竞赛。
• 通过自适应层，模型将网络参数数量减少50%，与完整模型相比平均性能仅下降1%。
• 自适应层实现了有效的特征剪枝，在减少复杂度的同时，对大多数亲属关系类型保持或略微提升性能。
• 模型在大多数亲属关系类型上表现稳定，性能下降最大的是数据稀缺的少数类型，如 GFGD 和 GMGS。
• 局部-全局分类器显著提升了特征融合效果，有助于更好地区分亲属对与非亲属对。
• 消融实验证实自适应层有效：即使将该层的特征数量阈值设为中位数以减半，其性能仍优于无该层的模型。