[论文解读] Challenge report: Recognizing Families In the Wild Data Challenge

Zhipeng Luo, Zhiguang Zhang+2 more|arXiv (Cornell University)|May 30, 2020

Demographic Trends and Gender Preferences参考文献 9被引用 5

一句话总结

本文提出了一种基于深度度量学习和二元分类的对称孪生网络方法，用于在非约束性、真实世界图像中实现自动亲属关系识别。通过利用高分辨率输入和激进的负样本采样，作者在Recognizing Families In the Wild (RFIW) 2020挑战赛中取得了最先进性能，通过改进特征嵌入和分类准确率超越了先前方法。

ABSTRACT

This paper is a brief report to our submission to the Recognizing Families In the Wild Data Challenge (4th Edition), in conjunction with FG 2020 Forum. Automatic kinship recognition has attracted many researchers' attention for its full application, but it is still a very challenging task because of the limited information that can be used to determine whether a pair of faces are blood relatives or not. In this paper, we studied previous methods and proposed our method. We try many methods, like deep metric learning-based, to extract deep embedding feature for every image, then determine if they are blood relatives by Euclidean distance or method based on classes. Finally, we find some tricks like sampling more negative samples and high resolution that can help get better performance. Moreover, we proposed a symmetric network with a binary classification based method to get our best score in all tasks.

研究动机与目标

• 解决在视觉线索有限且多变的非约束性真实世界图像中识别家庭关系的挑战。
• 通过利用深度特征嵌入和有效的训练策略，提升自动亲属关系识别的性能。
• 探索数据增强、分辨率和采样技术对模型泛化能力和准确率的影响。
• 开发一种针对亲属关系识别中成对人脸比较优化的鲁棒对称网络架构。

提出的方法

• 采用深度度量学习从人脸图像中提取高层深度嵌入特征。
• 设计了一种对称孪生神经网络架构，利用学习到的嵌入比较成对人脸。
• 使用二元分类损失基于嵌入相似性区分亲属对与非亲属对。
• 在训练中应用数据增强技术，包括高分辨率图像输入和增加负样本采样。
• 通过对比损失和三元组损失的变体优化训练，以改善亲属对与非亲属对之间的嵌入分离。
• 使用RIFW测试集上的欧氏距离和分类阈值评估模型性能。

实验结果

研究问题

• RQ1 不同的深度特征提取方法在非约束环境中对亲属关系识别性能有何影响？
• RQ2 高分辨率输入和负样本采样对亲属关系识别中模型泛化能力有何影响？
• RQ3 具有二元分类的对称孪生网络是否能在RFIW基准上超越传统度量学习方法？
• RQ4 诸如损失函数选择和采样比例等训练策略如何影响最终准确率？

主要发现

• 在RFIW 2020挑战赛的所有任务中，采用二元分类的对称孪生网络取得了最佳性能。
• 高分辨率输入图像显著改善了特征表示和模型准确率。
• 训练期间的激进负样本采样增强了模型对亲属与非亲属对的区分能力。
• 深度度量学习与优化采样策略的结合，使性能显著优于基线方法。