[论文解读] Federated Face Recognition

Fan Bai, Jiaxiang Wu+3 more|arXiv (Cornell University)|May 6, 2021

Face recognition and analysis参考文献 23被引用 10

一句话总结

本文提出 FedFace，一种用于人脸识别的新型联邦学习框架，在保护数据隐私的同时保持或提升模型性能。该框架引入了部分联邦动量（PFM）以高效缓解客户端漂移，并采用联邦验证（FV）通过私有验证数据动态优化聚合权重，从而在多个基准测试中实现与集中式训练相当或更优的性能。

ABSTRACT

Face recognition has been extensively studied in computer vision and artificial intelligence communities in recent years. An important issue of face recognition is data privacy, which receives more and more public concerns. As a common privacy-preserving technique, Federated Learning is proposed to train a model cooperatively without sharing data between parties. However, as far as we know, it has not been successfully applied in face recognition. This paper proposes a framework named FedFace to innovate federated learning for face recognition. Specifically, FedFace relies on two major innovative algorithms, Partially Federated Momentum (PFM) and Federated Validation (FV). PFM locally applies an estimated equivalent global momentum to approximating the centralized momentum-SGD efficiently. FV repeatedly searches for better federated aggregating weightings via testing the aggregated models on some private validation datasets, which can improve the model's generalization ability. The ablation study and extensive experiments validate the effectiveness of the FedFace method and show that it is comparable to or even better than the centralized baseline in performance.

研究动机与目标

• 为解决人脸识别中日益增长的数据隐私担忧，通过无需共享原始数据的协作式模型训练来实现。
• 将联邦学习适配至人脸识别领域，该领域对数据隐私要求极高，但在联邦学习设置中尚未得到充分探索。
• 解决多参与方便识别场景中常见的非独立同分布（non-i.i.d.）数据下客户端漂移的问题。
• 在不损害数据隐私的前提下，提升联邦人脸识别中的模型泛化能力。
• 开发一种实用、高效且隐私保护的训练框架，适用于真实世界部署。

提出的方法

• 提出部分联邦动量（PFM），通过使用本地梯度之和在本地估算全局动量，以减少客户端漂移，同时保持训练效率。
• 引入联邦验证（FV），一种动态加权策略，利用私有验证数据集在训练过程中搜索最优聚合权重。
• 采用跨孤岛联邦学习设置，由服务器协调多个客户端（参与方），每个参与方持有私有数据和模型。
• 在 FV 中使用移动平均归一化和局部范数评分，以稳定并提升最优聚合权重的搜索效果。
• 采用两阶段训练流程：先使用 PFM 进行本地模型更新，再通过 FV 优化的权重进行全局聚合。
• 采用标准的人脸识别主干网络（如 IR-18、IR-34）和损失函数（ArcFace、CosFace），并集成到 FedFace 框架中。

实验结果

研究问题

• RQ1 联邦学习能否在保护数据隐私的前提下被有效应用于人脸识别？
• RQ2 在不牺牲训练效率的前提下，如何缓解联邦人脸识别中的客户端漂移？
• RQ3 能否通过利用私有验证数据提升联邦人脸识别中的模型泛化能力？
• RQ4 PFM 和 FV 在不同设置下如何相互作用并协同提升性能？
• RQ5 在非独立同分布数据和不同系统配置下，FedFace 是否在准确率和鲁棒性方面优于集中式训练？

主要发现

• FedFace 在所有评估基准（包括 MS1M、GA 和 VGG 数据集）上的表现均与集中式基线相当或更优。
• 与 FedAvg 相比，PFM 显著降低了训练损失，在多个设置中最终损失甚至低于集中式训练，表明其具备更强的拟合能力。
• 采用局部范数归一化的 FV 策略始终优于其他归一化策略，实现了最佳的模型泛化性能。
• FV 中的权重动态调整：拥有 MS1M 数据的参与方初始获得更高权重，随着训练推进，权重逐渐收敛至相等值。
• 在同步间隔逐步增加（K=100、400、1600）的情况下，FedFace 保持强性能，而 FedAvg 显著下降，证明了 PFM 和 FV 的鲁棒性。
• 在 12 个参与方的设置中，FedFace 仍优于 FedAvg，并与集中式基线持平或超越，证实其在大规模联邦设置中的可扩展性与有效性。