[论文解读] Faithful Edge Federated Learning: Scalability and Privacy

Meng Zhang, Ermin Wei+1 more|arXiv (Cornell University)|Jun 30, 2021

Privacy-Preserving Technologies in Data参考文献 48被引用 4

一句话总结

本文提出了忠实边缘联邦学习（FFL）及其差分隐私变体（DP-FFL），这是首个在非独立同分布（non-i.i.d.）和数据不平衡条件下确保参与真实性和执行可靠性的机制。通过增量计算与聚类近似VCG支付，FFL实现$Ø(\log K)$的时间复杂度，具备忠实实现、自愿参与和隐私保护特性，并在隐私、收敛速度与支付精度损失之间实现三重权衡。

ABSTRACT

Federated learning enables machine learning algorithms to be trained over a network of multiple decentralized edge devices without requiring the exchange of local datasets. Successfully deploying federated learning requires ensuring that agents (e.g., mobile devices) faithfully execute the intended algorithm, which has been largely overlooked in the literature. In this study, we first use risk bounds to analyze how the key feature of federated learning, unbalanced and non-i.i.d. data, affects agents' incentives to voluntarily participate and obediently follow traditional federated learning algorithms. To be more specific, our analysis reveals that agents with less typical data distributions and relatively more samples are more likely to opt out of or tamper with federated learning algorithms. To this end, we formulate the first faithful implementation problem of federated learning and design two faithful federated learning mechanisms which satisfy economic properties, scalability, and privacy. Further, the time complexity of computing all agents' payments in the number of agents is $\mathcal{O}(1)$. First, we design a Faithful Federated Learning (FFL) mechanism which approximates the Vickrey-Clarke-Groves (VCG) payments via an incremental computation. We show that it achieves (probably approximate) optimality, faithful implementation, voluntary participation, and some other economic properties (such as budget balance). Second, by partitioning agents into several subsets, we present a scalable VCG mechanism approximation. We further design a scalable and Differentially Private FFL (DP-FFL) mechanism, the first differentially private faithful mechanism, that maintains the economic properties. Our mechanism enables one to make three-way performance tradeoffs among privacy, the iterations needed, and payment accuracy loss.

研究动机与目标

• 解决缺乏激励机制的问题，以确保在非独立同分布和数据不平衡分布下，参与方仍能忠实执行联邦学习。
• 设计一种机制，确保在策略性参与方行为下，实现自愿参与与忠实执行。
• 在保持预算平衡与近似最优性等关键经济特性的同时，实现可扩展性与差分隐私。
• 在差分隐私环境下，实现隐私、收敛速度与支付精度损失之间的三重权衡。

提出的方法

• 提出一种忠实联邦学习（FFL）机制，通过增量计算近似维克里-克拉克-格罗夫斯（VCG）支付，以确保真实报告与忠实执行。
• 引入聚类VCG近似方法以实现机制可扩展，将时间复杂度降低至$Ø(\log K)$（$K$为参与方数量）。
• 通过向支付中添加校准噪声，设计差分隐私变体DP-FFL，同时保持经济特性，并实现隐私-精度-收敛速度之间的权衡。
• 利用风险界分析非独立同分布数据下参与方的激励，发现数据特征不典型且样本量较多的参与方更可能退出或操纵行为。
• 采用基于参与方对全局模型改进边际贡献的支付机制，通过增量更新计算以降低计算成本。
• 通过添加拉普拉斯噪声，对支付机制应用差分隐私，确保单个参与方的贡献保持隐藏。

实验结果

研究问题

• RQ1 非平衡且非独立同分布的数据分布如何抑制参与方自愿参与或忠实执行联邦学习算法？
• RQ2 能否设计一种机制，在边缘联邦学习中实现忠实执行，同时保持可扩展性与隐私性？
• RQ3 在差分隐私的忠实联邦学习机制中，隐私、收敛速度与支付精度损失之间存在何种权衡？
• RQ4 与基线联邦学习（如FedAvg）和本地学习相比，所提机制在性能与参与方激励方面表现如何？

主要发现

• FFL机制实现了（可能为近似）最优性、忠实执行、自愿参与与预算平衡，时间复杂度为$Ø(\log K)$（$K$为参与方数量）。
• DP-FFL是首个差分隐私的忠实联邦学习机制，支持隐私、收敛迭代次数与支付精度损失之间的三重权衡。
• 在全局损失与测试准确率方面，FFL与DP-FFL显著优于被操纵的FedAvg与本地学习，尤其在中等数据异构性（$\Delta \leq 0.15$）下表现更优。
• 当数据异构性较高（$\Delta \geq 0.15$）时，本地学习可能优于联邦学习，但FFL与DP-FFL仍优于被操纵的FedAvg。
• 支付精度损失随隐私风险$\alpha$增加以及聚类数$L$增加而降低，且$L \geq 4$足以维持低损失。
• 训练样本数$n$对本地学习与被操纵的FedAvg影响更大，而对FFL与DP-FFL影响较小，表明所提机制对数据不平衡更具鲁棒性。