[论文解读] Family in the Wild (FIW): A Large-scale Kinship Recognition Database.

Joseph P. Robinson, Ming Shao+2 more|arXiv (Cornell University)|Apr 7, 2016

Face recognition and analysis参考文献 13被引用 7

一句话总结

本文介绍了野外家庭数据集（Family in the Wild, FIW），这是一个大规模、多样化的家庭照片集合，包含详细的层级亲属关系、属性信息以及局部标注。通过使用自定义标注工具，作者构建了一个基准数据集，实现了亲属关系识别任务的最先进性能，证明了预训练卷积神经网络（CNN）特征优于传统视觉特征，且机器算法的性能超越人类水平。

ABSTRACT

We introduce a large-scale dataset for visual kin-based problems, the Family in the Wild (FIW) dataset. Motivated by the lack of a single, unified image dataset available for kinship tasks, our goal is to provide a dataset that captivates the interest of the research community, i.e., large enough to support multiple tasks for evaluation. For this, we collected and labelled the largest set of family images to date, with only a small team and an efficient labelling tool that was designed to optimize the process of marking complex hierarchical relationships, attributes, and local label information in family photos. We experimentally compare our dataset the existing kinship image datasets, and demonstrate the practical value of the newly collected FIW dataset. We also demonstrate that using a pre-trained convolutional neural network (CNN) as an off-the-shelf feature extractor as performing better than traditional feature types used for kinship based tasks in the visual domain. We also measure human performance and show their performance does not match up to that of machine vision algorithms.

研究动机与目标

• 为解决视觉亲属关系识别任务中缺乏统一、大规模数据集的问题。
• 收集并标注迄今为止最大规模的家庭图像数据集，以捕捉复杂的层级关系和属性信息。
• 提供一个支持多种亲属关系识别评估任务的基准数据集。
• 证明预训练CNN特征在亲属关系识别任务中优于传统手工设计的视觉特征。
• 将机器学习模型的性能与人类表现进行对比。

提出的方法

• 作者从公开来源收集了大规模的家庭照片数据集，重点关注多样化且真实的家庭结构。
• 开发了自定义的高效标注工具，用于标注家庭图像中的复杂层级亲属关系、属性信息以及局部面部区域。
• 该数据集包含对父母-子女、兄弟姐妹及扩展家庭关系的详细标注，以及面部属性和定位标注。
• 作者通过与现有亲属关系数据集对比，并利用标准基准测量性能，对数据集进行了评估。
• 他们微调并评估了预训练卷积神经网络（CNN）作为即插即用的特征提取器在亲属关系识别中的表现。
• 通过受控的标注任务测量人类表现，以与机器学习模型进行对比。

实验结果

研究问题

• RQ1 FIW数据集在规模、多样性及标注质量方面与现有亲属关系数据集相比如何？
• RQ2 预训练CNN特征是否在亲属关系识别任务中优于传统手工设计的视觉特征？
• RQ3 机器学习模型在从图像中识别亲属关系方面的表现，相较于人类有多大优势？
• RQ4 自定义标注工具在捕捉复杂层级家庭关系方面的有效性如何？
• RQ5 数据集规模和标注丰富度对亲属关系识别性能有何影响？

主要发现

• FIW数据集是迄今为止最大规模的公开亲属关系识别数据集，显著大于以往的集合。
• 预训练CNN特征在亲属关系识别任务中始终优于传统视觉特征（如HOG和LBP）。
• 机器视觉算法在从图像中识别亲属关系方面的准确率高于人类标注者。
• 自定义标注工具能够高效且准确地标注复杂家庭层级结构和局部面部属性。
• 该数据集在支持多种亲属关系相关任务方面展现出强大潜力，包括识别、属性预测和定位。
• 结果验证了FIW数据集作为未来视觉亲属关系识别研究中宝贵基准的价值。