[论文解读] Improving Federated Learning Face Recognition via Privacy-Agnostic Clusters

Qiang Meng, Feng Zhou+4 more|arXiv (Cornell University)|Jan 29, 2022

Face recognition and analysis被引用 15

一句话总结

该论文提出PrivacyFace，一种联邦人脸验证框架，通过传输经清洗的、与隐私无关的类别中心聚类而非原始嵌入，实现在保障差分隐私的同时提升性能。该方法采用差分隐私本地聚类（DPLC）机制生成带噪声保护的聚类，并引入共识感知损失以对齐客户端特征，在IJB-B和IJB-C上分别实现TAR@FAR=1e-4的性能提升+9.63%和+10.26%，通信开销可忽略不计，且具备强大的隐私保障。

ABSTRACT

The growing public concerns on data privacy in face recognition can be greatly addressed by the federated learning (FL) paradigm. However, conventional FL methods perform poorly due to the uniqueness of the task: broadcasting class centers among clients is crucial for recognition performances but leads to privacy leakage. To resolve the privacy-utility paradox, this work proposes PrivacyFace, a framework largely improves the federated learning face recognition via communicating auxiliary and privacy-agnostic information among clients. PrivacyFace mainly consists of two components: First, a practical Differentially Private Local Clustering (DPLC) mechanism is proposed to distill sanitized clusters from local class centers. Second, a consensus-aware recognition loss subsequently encourages global consensuses among clients, which ergo results in more discriminative features. The proposed framework is mathematically proved to be differentially private, introducing a lightweight overhead as well as yielding prominent performance boosts ( extit{e.g.}, +9.63\% and +10.26\% for TAR@FAR=1e-4 on IJB-B and IJB-C respectively). Extensive experiments and ablation studies on a large-scale dataset have demonstrated the efficacy and practicability of our method.

研究动机与目标

• 解决联邦人脸验证中的隐私-效用悖论，即共享类别中心会泄露敏感生物特征信息。
• 克服因全局负类知识有限以及客户端间特征空间重叠导致的联邦学习性能下降问题。
• 设计一种通信高效且隐私保护的方案，使客户端能够在不暴露个体身份的前提下协同学习判别性人脸嵌入。
• 在保持严格差分隐私的前提下，通过新颖的聚类与损失机制，实现与全局训练相当的高识别准确率。

提出的方法

• 提出差分隐私本地聚类（DPLC），将本地类别中心聚类，并根据聚类的l2敏感度按比例添加噪声，以最小化隐私成本。
• 限制聚类大小并确保充分覆盖，以降低l2敏感度，从而实现比每类差分隐私更低的噪声和更高的效用。
• 仅传输经过清洗的聚类中心（表示为$\hat{\bm{p}}$），而非原始类别中心，降低隐私泄露风险。
• 引入共识感知识别损失，以促进不同聚类间客户端特征的对齐，提升特征判别能力。
• 使用联邦平均（FedAvg）结合新损失与聚类通信机制训练全局模型，同时保持隐私安全。
• 数学上证明该框架满足差分隐私，隐私预算为$\epsilon = 1.7 \times 10^{-7}$，显著低于朴素的每类噪声方法。

实验结果

研究问题

• RQ1 我们能否在不通过共享模型参数暴露个体身份信息的前提下，提升联邦人脸验证的性能？
• RQ2 如何在保持高效用的同时降低联邦人脸验证中聚类类别中心的隐私成本？
• RQ3 与原始类别中心相比，传输清洗后的基于聚类的表示是否能带来更好的泛化性与鲁棒性？
• RQ4 共识感知损失在多大程度上改善了客户端间的特征对齐与识别准确率？
• RQ5 所提方法能否在确保强差分隐私的前提下，实现接近全局训练的性能表现？

主要发现

• 在使用ArcFace时，PrivacyFace在IJB-B上实现TAR@FAR=1e-4的性能提升+9.63%，在IJB-C上提升+10.26%，显著优于传统联邦学习方法。
• PrivacyFace（$\bm{\phi}+\hat{\bm{p}}$）的性能几乎与非私有的全局训练基线无法区分，表明其在隐私与效用之间实现了极佳的平衡。
• DPLC机制相比朴素的每类差分隐私，将隐私成本降低了1.7e-7倍，证明了其高效性与安全性。
• 最优聚类边界$\rho$约为1.3，低于或高于此阈值均会导致性能下降，分别由于过拟合或聚类过于简单。
• 该框架引入的通信开销可忽略不计，每轮仅增加约16KB的聚类中心数据，具备良好的可扩展性。
• 消融实验表明，DPLC与共识感知损失均不可或缺，任一组件的移除均导致性能显著下降。