[论文解读] Learning Meta Face Recognition in Unseen Domains

Jianzhu Guo, Xiangyu Zhu+4 more|arXiv (Cornell University)|Mar 17, 2020

Face recognition and analysis参考文献 48被引用 7

一句话总结

本文提出元人脸识别（MFR），一种元学习框架，使人脸识别模型能够在无需微调的情况下泛化到未见过的域。通过在合成的源域和目标域上使用域级采样进行元优化，模拟域分布变化，MFR 通过难样本对注意力、软分类和域对齐损失学习可迁移的、域不变的表征，在新定义的基准上实现了最先进水平的泛化性能。

ABSTRACT

Face recognition systems are usually faced with unseen domains in real-world applications and show unsatisfactory performance due to their poor generalization. For example, a well-trained model on webface data cannot deal with the ID vs. Spot task in surveillance scenario. In this paper, we aim to learn a generalized model that can directly handle new unseen domains without any model updating. To this end, we propose a novel face recognition method via meta-learning named Meta Face Recognition (MFR). MFR synthesizes the source/target domain shift with a meta-optimization objective, which requires the model to learn effective representations not only on synthesized source domains but also on synthesized target domains. Specifically, we build domain-shift batches through a domain-level sampling strategy and get back-propagated gradients/meta-gradients on synthesized source/target domains by optimizing multi-domain distributions. The gradients and meta-gradients are further combined to update the model to improve generalization. Besides, we propose two benchmarks for generalized face recognition evaluation. Experiments on our benchmarks validate the generalization of our method compared to several baselines and other state-of-the-arts. The proposed benchmarks will be available at https://github.com/cleardusk/MFR.

研究动机与目标

• 解决在真实世界场景中部署人脸识别模型时面临的挑战：目标域未知且与训练数据分布不同。
• 将广义人脸识别问题形式化为一个开放集、大规模类别下的域泛化任务，该问题在先前工作中尚未被充分探索。
• 开发一种元学习框架，使模型能够在无需任何微调或自适应的情况下泛化到未见过的域。
• 设计两个新基准——GFR-R I 至 IV——专门用于评估在多样化未见域中广义人脸识别的性能。

提出的方法

• 提出一种域级采样策略，通过在训练期间将源域划分为元训练集和元测试集，模拟元训练和元测试域。
• 引入一种元优化目标，联合优化在合成元训练域和元测试域上的性能，以提升泛化能力。
• 结合三种关键损失：难样本对注意力损失（用于局部特征区分）、软分类损失（用于全局批次级关系）和域对齐损失（通过对齐域中心减少域偏移）。
• 从元训练域计算梯度，从元测试域计算元梯度，然后通过元优化聚合这些梯度以更新模型参数。
• 使用元梯度的一阶近似以降低计算成本，同时保持与高阶计算相近的性能。
• 引入超参数 γ 以平衡元训练和元测试损失的贡献，消融实验表明 γ=0.5 时性能最优。

实验结果

研究问题

• RQ1 在已知源域上训练的人脸识别模型，能否在完全未见过的目标域上无需任何微调即实现有效泛化？
• RQ2 元学习在学习跨多样化未见人脸识别域（如跨年龄、NIR-VIS、大姿态、遮挡）的可迁移表征方面有多有效？
• RQ3 所提出的 MFR 框架中的哪些组件——难样本对注意力、软分类、域对齐或元梯度——对泛化性能贡献最大？
• RQ4 域级采样策略和超参数 γ 的选择如何影响模型在未见域上的泛化能力？
• RQ5 元梯度的一阶近似在降低计算成本的同时，能在多大程度上保持性能？

主要发现

• 完整 MFR 模型在 GFR-R I（印度）基准上实现了 95.4% 的验证率（VR）和 86.1% 的 Rank-1 准确率，优于消融变体和基线模型。
• 移除元梯度组件会导致性能显著下降——例如在 GFR-R I 上，FAR=0.01% 时从 71.4% 降至 68.35%，证明其在泛化中的关键作用。
• 元梯度的一阶近似版本性能仅比高阶版本低 0.5%，但训练时间仅需 63%，GPU 显存使用量仅为 82%。
• 当采用 m=2 个元训练域和 n=1 个元测试域的域级采样策略时性能最佳，优于随机采样或 1:1 拆分。
• 超参数 γ=0.5 在元训练和元测试损失贡献之间提供了最佳平衡，过高或过低的值均导致性能下降。
• 所提出的基准（GFR-R I 至 IV）已公开发布于 https://github.com/cleardusk/MFR，可实现广义人脸识别方法的标准化评估。