[论文解读] Mobile Face Tracking: A Survey and Benchmark

Yiming Lin, Jie Shen+2 more|arXiv (Cornell University)|May 24, 2018

Face recognition and analysis参考文献 57被引用 4

一句话总结

本论文提出了 MobiFace，这是首个面向移动环境单人脸追踪的基准数据集，包含80段未经剪辑的智能手机视频，涵盖95,000个手动标注的边界框以及14项属性。对36种最先进追踪器的评估表明，现有方法在移动人脸追踪任务上仍无法解决该问题，但通过在 MobiFace 上进行微调可显著提升性能，证明该数据集有效捕捉了移动环境下的独特特性。

ABSTRACT

Face tracking serves as the crucial initial step in mobile applications trying to analyse target faces over time in mobile settings. However, this problem has received little attention, mainly due to the scarcity of dedicated face tracking benchmarks. In this work, we introduce MobiFace, the first dataset for single face tracking in mobile situations. It consists of 80 unedited live-streaming mobile videos captured by 70 different smartphone users in fully unconstrained environments. Over $95K$ bounding boxes are manually labelled. The videos are carefully selected to cover typical smartphone usage. The videos are also annotated with 14 attributes, including 6 newly proposed attributes and 8 commonly seen in object tracking. 36 state-of-the-art trackers, including facial landmark trackers, generic object trackers and trackers that we have fine-tuned or improved, are evaluated. The results suggest that mobile face tracking cannot be solved through existing approaches. In addition, we show that fine-tuning on the MobiFace training data significantly boosts the performance of deep learning-based trackers, suggesting that MobiFace captures the unique characteristics of mobile face tracking. Our goal is to offer the community a diverse dataset to enable the design and evaluation of mobile face trackers. The dataset, annotations and the evaluation server will be on \url{this https URL}.

研究动机与目标

• 解决在非受限智能手机环境中缺乏专用移动人脸追踪基准的问题。
• 提供一个多样化、真实世界的数据集，以捕捉典型智能手机使用模式下的人脸追踪场景。
• 支持对针对移动特定挑战而优化的现有人脸追踪算法进行评估与改进。
• 识别当前方法未能解决的移动人脸追踪独特特性。
• 通过发布数据集、标注结果和评估服务器，为未来研究奠定基础。

提出的方法

• 从70名不同智能手机用户处收集80段未经剪辑的实时流视频，场景为完全非受限环境。
• 在所有视频中手动标注超过95,000个人脸实例的边界框。
• 引入14项属性，其中包括6项专为移动人脸追踪设计的新属性，用于表征视频内容与挑战。
• 评估36种最先进追踪器，涵盖人脸关键点追踪器、通用目标追踪器以及在 MobiFace 上微调的模型。
• 使用标准化评估服务器，确保性能比较的一致性与可复现性。
• 分析现有追踪器与所提出的基准之间的性能差距，识别在移动环境中导致失败的关键模式。

实验结果

研究问题

• RQ1 现有人脸追踪方法能否泛化到移动非受限智能手机视频流所特有的挑战？
• RQ2 哪些视觉与上下文属性是区分移动人脸追踪与标准目标追踪的关键因素？
• RQ3 在 MobiFace 数据集上进行微调，能在多大程度上提升基于深度学习的人脸追踪器性能？
• RQ4 当前最先进追踪器是否能够应对真实移动视频序列中动态多变的复杂条件？
• RQ5 现有基准或追踪算法未能捕捉到移动人脸追踪中的哪些具体挑战？

主要发现

• 现有人脸追踪方法无法泛化到移动视频环境，表明该问题仍未解决。
• 在 MobiFace 数据集上对基于深度学习的追踪器进行微调可带来显著性能提升，证明该数据集有效表征了移动环境下的特定挑战。
• MobiFace 数据集捕捉到了移动人脸追踪的独特特性，如快速运动、遮挡以及光照变化等，这些在以往基准中未被充分涵盖。
• 引入6项新属性使得对移动环境中追踪困难的分析更加细致入微。
• 评估结果揭示，当应用于移动视频时，多种最先进追踪器均表现出一致的性能下降，凸显了开发专用移动感知追踪模型的迫切需求。
• MobiFace 数据集与评估服务器的发布，为实现标准化基准测试和推动移动人脸追踪研究的持续进步提供了可能。