[论文解读] Federated Learning under Importance Sampling

Elsa Rizk, Stefan Vlaski+1 more|arXiv (Cornell University)|Dec 14, 2020

Privacy-Preserving Technologies in Data被引用 4

一句话总结

本文提出了一种在联邦学习中使用重要性采样对参与方和本地数据进行非均匀采样的策略，通过减少方差来提升收敛性。该方法根据本地数据的变异性与模型异质性，自适应地选择参与方和数据点，在部分参与、异步、非独立同分布（non-IID）设置下实现 O(μ) 的收敛误差。

ABSTRACT

Federated learning encapsulates distributed learning strategies that are managed by a central unit. Since it relies on using a selected number of agents at each iteration, and since each agent, in turn, taps into its local data, it is only natural to study optimal sampling policies for selecting agents and their data in federated learning implementations. Usually, only uniform sampling schemes are used. However, in this work, we examine the effect of importance sampling and devise schemes for sampling agents and data non-uniformly guided by a performance measure. We find that in schemes involving sampling without replacement, the performance of the resulting architecture is controlled by two factors related to data variability at each agent, and model variability across agents. We illustrate the theoretical findings with experiments on simulated and real data and show the improvement in performance that results from the proposed strategies.

研究动机与目标

• 为解决联邦学习中均匀采样带来的性能局限，提出对参与方和本地数据采用非均匀采样策略。
• 分析重要性采样在异步、非独立同分布及部分参与的联邦学习系统中对收敛性的影响。
• 推导在非均匀采样下随机梯度误差方差的理论边界，将性能与数据和模型异质性相关联。
• 设计自适应采样策略，以在参与方间存在数据与模型变异性的情况下最小化期望误差。
• 通过在模拟数据与真实数据集上的实验验证理论结果，展示收敛速度与准确性的提升。

提出的方法

• 提出双层重要性采样方案：通过分布 πₖ 非均匀选择参与方，通过 πₙ⁽ᵏ⁾ 在每个参与方处非均匀采样本地数据。
• 推导在非均匀采样下异步随机梯度下降在联邦学习中的理论收敛边界，表明当采样优化时误差呈 O(μ) 阶。
• 引入基于每个参与方数据变异性与参与方间模型变异性设计的性能指标，以指导采样分布的设计。
• 使用递归误差传播模型来界定梯度噪声项 qᵢ 的期望平方范数，将其与本地数据方差和模型漂移相关联。
• 应用詹森不等式与引理 4 简化误差边界表达式，使采样概率对收敛性影响的分析成为可能。
• 推导出自适应采样概率，以最小化期望梯度噪声的上界，从而实现更快收敛。

Figure 1: MSD plots of the regression problem: blue curve is the standard mini-batch implementation, green curve is the importance sampling implementation with the true probabilities, red curve is the importance sampling implementation with approximate probabilities ( 49 )–( 50 ), purple curve is th

实验结果

研究问题

• RQ1 在非独立同分布数据与异步操作条件下，对参与方和本地数据采用非均匀采样如何影响联邦学习的收敛速率？
• RQ2 在联邦学习中，重要性采样的性能受哪些关键因素控制，特别是数据与模型异质性方面？
• RQ3 基于本地数据与模型变异性设计的自适应采样策略是否能有效降低期望梯度噪声并提升收敛性？
• RQ4 在异步联邦学习中，非均匀采样下期望梯度噪声平方范数的理论边界可建立为何种形式？
• RQ5 在真实与模拟数据上，所提出的采样方案与均匀采样相比，在收敛速度与最终模型准确率方面表现如何？

主要发现

• 所提出的 importance sampling 方案的收敛误差呈 O(μ) 阶，相较于非独立同分布与异步设置下的均匀采样有显著改进。
• 性能主要受两个因素控制：每个参与方内部的数据变异性与参与方之间的模型变异性，二者均影响最优采样分布的设计。
• 基于本地数据方差与模型漂移的自适应采样显著降低了期望梯度噪声，从而实现更快收敛。
• 理论分析表明，梯度噪声项 qᵢ 的期望平方范数被限制在 O(μ) 阶，常数取决于数据分布与采样概率。
• 在模拟与真实数据上的实验结果证实，所提出的 importance sampling 策略在收敛速度与最终模型准确率方面均优于均匀采样。

Figure 2: Testing error plots of the classification problem.