[论文解读] Families In Wild Multimedia (FIW-MM): A Multi-Modal Database for Recognizing Kinship

Joseph P. Robinson, Zaid Khan+3 more|arXiv (Cornell University)|Jul 28, 2020

Face recognition and analysis参考文献 45被引用 9

一句话总结

本论文提出了野外多媒体家庭关系识别数据集（FIW-MM），这是首个公开可用的多模态家庭关系识别数据集，整合了静态图像、视频、音频和文本描述。通过以最少的人工干预自动化数据收集与标注，FIW-MM显著提升了各类基准测试中的家庭关系识别性能，推动了更真实、多模态系统的开发，并促进了跨学科协作。

ABSTRACT

Kinship, a soft biometric detectable in media, is fundamental for a myriad of use-cases. Despite the difficulty of detecting kinship, annual data challenges using still-images have consistently improved performances and attracted new researchers. Now, systems reach performance levels unforeseeable a decade ago, closing in on performances acceptable to deploy in practice. Similar to other biometric tasks, we expect systems can benefit from additional modalities. We hypothesize that adding modalities to FIW, which contains only still-images, will improve performance. Thus, to narrow the gap between research and reality and enhance the power of kinship recognition systems, we extend FIW with multimedia (MM) data (i.e., video, audio, and text captions). Specifically, we introduce the first publicly available multi-task MM kinship dataset. To build FIW MM, we developed machinery to automatically collect, annotate, and prepare the data, requiring minimal human input and no financial cost. The proposed MM corpus allows the problem statements to be more realistic template-based protocols. We show significant improvements in all benchmarks with the added modalities. The results highlight edge cases to inspire future research with different areas of improvement. FIW MM provides the data required to increase the potential of automated systems to detect kinship in MM. It also allows experts from diverse fields to collaborate in novel ways.

研究动机与目标

• 通过引入多模态信息，弥合基于静态图像的家庭关系识别研究进展与实际部署之间的差距。
• 开发一种可扩展、低成本且自动化的多媒体数据收集与标注流程，以扩展现有的 FIW 数据集。
• 创建一个公开可用的多任务多媒体家庭关系数据集，支持更真实、更稳健的基准测试协议。
• 使来自不同领域的研究人员能够通过更丰富、多模态的数据协作推进自动化家庭关系识别技术。
• 证明在基于静态图像的家庭关系识别中增加模态可显著提升系统性能。

提出的方法

• 开发了自动化系统，从公开可获取的来源收集多媒体数据（视频、音频、文本描述），实现最小化人工干预。
• 数据收集流程整合了网络爬取与元数据提取技术，将多媒体内容与现有 FIW 静态图像家庭数据对齐。
• 通过将原始 FIW 数据集中的亲属关系标签自动映射到新多媒体实例，最大限度减少人工标注工作。
• 生成的 FIW-MM 数据集包含同步的视频、音频和家庭成员的文字描述，完整保留亲属关系信息。
• 设计了基于模板的协议，以支持多任务学习和多模态家庭关系识别系统的实际评估。
• 该框架在保证数据质量与一致性的前提下，实现了大规模多媒体数据集创建的可扩展性与成本效益。

实验结果

研究问题

• RQ1 将视频、音频和文本等多模态信息整合到基于静态图像的家庭关系识别中，是否能显著提升系统性能？
• RQ2 与仅使用静态图像的单模态基线相比，多模态方法在准确率和鲁棒性方面表现如何？
• RQ3 在使用多模态数据进行家庭关系识别时，会涌现出哪些关键边缘案例和失败模式？
• RQ4 自动化数据收集与标注流程在多大程度上能够生成高质量、可扩展的多媒体数据集用于家庭关系研究？
• RQ5 像 FIW-MM 这样的多模态家庭关系数据集，如何促进跨学术与技术领域的新型协作研究？

主要发现

• 在 FIW 数据集中增加多模态信息，显著提升了所有基准测试的性能表现。
• FIW-MM 通过支持基于模板的多任务学习场景，实现了更真实的评估协议。
• 所提出的自动化流程成功实现了大规模多媒体数据的收集与准备，且仅需极少人工参与，无任何经济成本。
• 该数据集揭示了新的边缘案例与失败模式，凸显了未来多模态家庭关系识别研究的关键方向。
• FIW-MM 为计算机视觉、自然语言处理与音频分析领域之间的协作研究奠定了基础。
• 结果表明，多模态系统优于单模态静态图像系统，使自动化家庭关系识别更接近真实世界部署。