[论文解读] Multi-Face: Self-supervised Multiview Adaptation for Robust Face Clustering in Videos

Krishna Somandepalli, Rajat Hebbar+1 more|arXiv (Cornell University)|Aug 25, 2020

Face recognition and analysis参考文献 47被引用 6

一句话总结

本文提出 Multi-Face，一种用于长视频中鲁棒人脸聚类的自监督多视角自适应框架。通过利用视频帧中同时出现的人脸生成弱监督的人脸轨迹，结合最近邻搜索进行困难样本挖掘，并通过多视角共享子空间学习实现领域自适应，显著提升了在电影数据集上的人脸验证与聚类性能。

ABSTRACT

Robust face clustering is a key step towards computational understanding of visual character portrayals in media. Face clustering for long-form content such as movies is challenging because of variations in appearance and lack of large-scale labeled video resources. However, local face tracking in videos can be used to mine samples belonging to same/different persons by examining the faces co-occurring in a video frame. In this work, we use this idea of self-supervision to harvest large amounts of weakly labeled face tracks in movies. We propose a nearest-neighbor search in the embedding space to mine hard examples from the face tracks followed by domain adaptation using multiview shared subspace learning. Our benchmarking on movie datasets demonstrate the robustness of multiview adaptation for face verification and clustering. We hope that the large-scale data resources developed in this work can further advance automatic character labeling in videos.

研究动机与目标

• 为解决在电影等长视频内容中进行鲁棒人脸聚类的挑战，此类场景中外观变化大且缺乏大规模标注数据，导致性能受限。
• 利用局部人脸跟踪技术，通过识别视频帧中同时出现的人脸，自动生成弱监督的人脸轨迹。
• 通过从这些轨迹中挖掘困难样本，利用自监督学习提升人脸聚类的鲁棒性。
• 通过共享子空间学习构建多视角自适应框架，对齐同一身份在不同视角下的嵌入表示。
• 发布一个大规模电影数据集基准，以推动自动角色标注研究的发展。

提出的方法

• 利用视频帧内人脸的共现性，无需人工标注即可生成弱监督的人脸轨迹。
• 在嵌入空间中应用最近邻搜索，从弱监督轨迹中识别困难的正样本和负样本。
• 采用多视角共享子空间学习，对齐同一身份在不同视角下的嵌入表示，提升特征泛化能力。
• 利用轨迹级别的共现性进行自监督，预训练并优化人脸嵌入模型。
• 集成领域自适应技术，减少视频序列中训练与测试数据之间的分布偏移。
• 构建一个大规模基于电影的基准数据集，用于在真实世界条件下评估人脸聚类与验证性能。

实验结果

研究问题

• RQ1 能否有效利用视频帧中的人脸共现性，生成用于人脸聚类的弱监督训练信号？
• RQ2 多视角共享子空间学习在长视频中不同外观下如何提升人脸嵌入的鲁棒性？
• RQ3 与随机采样相比，从人脸轨迹中进行困难样本挖掘在多大程度上提升了聚类性能？
• RQ4 在标注数据有限的电影数据集上，所提出的自监督多视角自适应方法是否优于完全监督或弱监督基线方法？
• RQ5 该方法在电影媒体中多样的视频内容和外观变化下，泛化能力如何？

主要发现

• 所提出的自监督框架通过利用共现人脸轨迹作为弱监督信号，在电影数据集上显著提升了人脸聚类准确率。
• 通过嵌入空间中的最近邻搜索进行困难样本挖掘，促进了更具判别性的特征学习，从而提升了聚类性能。
• 多视角共享子空间学习有效减少了领域偏移，并提升了在长视频中多样化面部外观下的泛化能力。
• 该方法仅使用来自视频共现性的弱监督数据，就在人脸验证与聚类基准上达到了最先进性能。
• 本文发布的大型电影数据集为未来自动角色标注与视频理解研究提供了宝贵资源。