[论文解读] A Theoretical Perspective on Differentially Private Federated Multi-task Learning

Huiwen Wu, Cen Chen+1 more|arXiv (Cornell University)|Nov 14, 2020

Privacy-Preserving Technologies in Data参考文献 38被引用 15

一句话总结

该论文提出 DPFedMTL，一种差分隐私联邦多任务学习框架，通过共享低层网络实现可迁移特征学习，同时保留任务特定的高层网络以实现个性化。该方法首次为隐私（通过高斯差分隐私）和收敛性（非凸、凸及强凸设置）提供了理论保证，并在 CelebA 和 FEMNIST 数据集上展示了稳健的效用-隐私权衡。

ABSTRACT

In the era of big data, the need to expand the amount of data through data sharing to improve model performance has become increasingly compelling. As a result, effective collaborative learning models need to be developed with respect to both privacy and utility concerns. In this work, we propose a new federated multi-task learning method for effective parameter transfer with differential privacy to protect gradients at the client level. Specifically, the lower layers of the networks are shared across all clients to capture transferable feature representation, while top layers of the network are task-specific for on-client personalization. Our proposed algorithm naturally resolves the statistical heterogeneity problem in federated networks. We are, to the best of knowledge, the first to provide both privacy and utility guarantees for such a proposed federated algorithm. The convergences are proved for the cases with Lipschitz smooth objective functions under the non-convex, convex, and strongly convex settings. Empirical experiment results on different datasets have been conducted to demonstrate the effectiveness of the proposed algorithm and verify the implications of the theoretical findings.

研究动机与目标

• 为解决联邦学习中数据异质性问题，通过客户端间有效参数迁移来应对挑战。
• 在联邦训练过程中保护客户端梯度信息，防止隐私泄露。
• 在非凸、凸及强凸设置下提供理论收敛性保证。
• 在联邦多任务学习中平衡差分隐私带来的隐私保护与模型效用之间的权衡。
• 开发一种统一框架，结合硬参数共享与差分隐私，以提升泛化能力与隐私保护。

提出的方法

• 模型在所有客户端之间使用共享编码器（低层）以学习可迁移特征，同时通过任务特定的头部（高层）实现个性化。
• 通过在客户端向参数传输前添加高斯噪声，实现客户端级别的差分隐私。
• 隐私分析采用高斯差分隐私（GDP）与中心极限定理（CLT）相结合的方法，用于训练步骤的组合分析。
• 通过子空间分解方法，证明了在非凸、凸及强凸设置下，对Lipschitz光滑目标函数的收敛性。
• 算法采用带有差分隐私的联邦平均（FedAvg），仅对共享参数进行客户端间聚合。
• 通过CLT近似实现的矩会计方法进行隐私会计，相比传统 $(\epsilon,\delta)$-DP 提供更紧致的边界。

实验结果

研究问题

• RQ1 具有共享层与任务特定层的联邦多任务学习框架能否有效应对非独立同分布数据中的统计异质性？
• RQ2 在客户端梯度上应用差分隐私是否能在确保强隐私保障的同时保持模型效用？
• RQ3 所提出算法在非凸、凸及强凸目标函数下的理论收敛行为如何？
• RQ4 噪声水平 $\sigma$ 如何影响所提框架中隐私与效用之间的权衡？
• RQ5 在噪声水平不断增加的情况下，所提方法是否能在准确率与隐私鲁棒性方面均优于标准的 DP-FedAvg？

主要发现

• 在 CelebA 数据集上，DPFedMTL 在 $\sigma = 0.65$ 时达到 90.25% 的准确率，即使在强隐私约束下仍保持高效率用。
• 在 FEMNIST 数据集上，DPFedMTL 在 $\sigma = 9.69$ 时维持 76.79% 的准确率，表现出对高噪声水平的鲁棒性。
• 在噪声增加的情况下，DPFedMTL 显著优于 DPFedAvg，尤其在 FEMNIST 上，当 $\sigma = 9.69$ 时，DPFedAvg 准确率下降至 0.79%。
• DPFedMTL 的收敛速度优于 FedAvg 和 DPFedAvg，接近本地训练速度，表明其优化效率高。
• 基于 CLT 的 GDP 隐私会计分析表明，$\sigma = 0.65$ 在 CelebA 上提供强隐私保障，而 $\sigma = 9.69$ 才能在 FEMNIST 上实现相当的保护水平。
• 首次为该框架在非凸、凸及强凸设置下，针对Lipschitz光滑目标函数建立了理论收敛性，具有开创性意义。