[论文解读] Learning to Cluster Faces via Transformer

Jinxing Ye, Xiaojiang Peng+5 more|arXiv (Cornell University)|Apr 23, 2021

Face recognition and analysis参考文献 38被引用 6

一句话总结

本文提出了一种新型的监督人脸聚类框架 Face Transformer (FaceT)，采用两阶段基于 Transformer 的方法：关系编码器（RE）用于上下文节点增强，关联预测器（LP）用于精确的成对聚类关联预测。通过建模局部拓扑结构并改进边表示，FaceT 在 MS-Celeb-1M 上实现了 SOTA 性能，成对 F 分数达到 91.12%，Bcubed F 分数达到 90.54%。

ABSTRACT

Face clustering is a useful tool for applications like automatic face annotation and retrieval. The main challenge is that it is difficult to cluster images from the same identity with different face poses, occlusions, and image quality. Traditional clustering methods usually ignore the relationship between individual images and their neighbors which may contain useful context information. In this paper, we repurpose the well-known Transformer and introduce a Face Transformer for supervised face clustering. In Face Transformer, we decompose the face clustering into two steps: relation encoding and linkage predicting. Specifically, given a face image, a extbf{relation encoder} module aggregates local context information from its neighbors and a extbf{linkage predictor} module judges whether a pair of images belong to the same cluster or not. In the local linkage graph view, Face Transformer can generate more robust node and edge representations compared to existing methods. Experiments on both MS-Celeb-1M and DeepFashion show that our method achieves state-of-the-art performance, e.g., 91.12\% in pairwise F-score on MS-Celeb-1M.

研究动机与目标

• 解决在姿态、遮挡和图像质量存在极端变化条件下的聚类挑战。
• 通过建模人脸图像与其邻近样本之间的上下文关系，提升聚类的鲁棒性。
• 克服传统聚类方法对凸形或均匀分布聚类的假设限制。
• 开发一种统一的端到端框架，利用注意力机制实现更优的节点和边表示学习。
• 在大规模人脸聚类基准上实现 SOTA 性能。

提出的方法

• FaceT 将人脸聚类分解为两个阶段：关系编码与关联预测。
• 关系编码器（RE）使用多头自注意力机制，聚合邻近人脸图像的局部上下文信息，以增强节点嵌入表示。
• 关联预测器（LP）采用基于 Transformer 的边增强模块，优化边表示并分类一对图像是否属于同一聚类。
• 模型采用双跳邻居采样策略：hop1 用于挖掘困难正/负样本，hop2 用于保持局部拓扑一致性。
• 框架通过成对关联预测的对比损失进行端到端训练，实现节点与边表示的联合优化。
• 对编码器深度、注意力头数量、dropout 比率以及邻居跳数等超参数进行调优，以提升鲁棒性与性能。

实验结果

研究问题

• RQ1 自注意力机制是否能有效建模局部拓扑上下文，从而在挑战性条件下提升人脸聚类性能？
• RQ2 同时增强节点与边表示是否能带来优于现有 GCN 基或度量学习方法的聚类性能？
• RQ3 所提出的 FaceT 框架对超参数（如注意力头数量、dropout 比率、邻居跳数）的选择是否敏感？
• RQ4 该模型是否能在不同深度特征提取器和训练数据集之间实现良好泛化？
• RQ5 使用上下文感知的边表示是否能降低对困难正/负样本对的误分类？

主要发现

• FaceT 在 MS-Celeb-1M 基准上实现了 91.12% 的成对 F 分数，创下新的 SOTA 记录。
• 该模型在 MS-Celeb-1M 上实现了 90.54% 的 Bcubed F 分数和 97.63% 的 NMI，表明聚类纯度与紧凑性更优。
• 仅关系编码器即可生成鲁棒的节点表示，且在欧氏空间中可度量，表明其具备有效的上下文特征学习能力。
• 将 dropout 比率从 0.4 降低至 0.2 略微提升了测试性能，表明过度正则化可能抑制学习过程。
• 将注意力头数量从 4 增加到 8 可轻微提升性能，F 分数峰值达到 91.34%。
• 模型对 hop1 和 hop2 邻居采样策略最为敏感，当 hop1 设为 150、hop2 设为 5 时性能最优，表明邻居选择策略对泛化能力具有显著影响。