[论文解读] Byzantine-Robust Variance-Reduced Federated Learning over Distributed Non-i.i.d. Data

Jie Peng, Zhaoxian Wu+2 more|arXiv (Cornell University)|Sep 17, 2020

Privacy-Preserving Technologies in Data参考文献 37被引用 7

一句话总结

该论文提出了一种拜占庭鲁棒的方差缩减联邦学习方法，采用重采样策略和基于SAGA的方差缩减技术，以缓解非独立同分布（non-i.i.d.）设置下内部和外部数据异质性的影响，随后采用鲁棒的几何中位数聚合。该方法实现了线性收敛至最优解的邻域，且学习误差明确地由拜占庭工作者数量界定，在非独立同分布场景下优于最先进方法。

ABSTRACT

We consider the federated learning problem where data on workers are not independent and identically distributed (i.i.d.). During the learning process, an unknown number of Byzantine workers may send malicious messages to the central node, leading to remarkable learning error. Most of the Byzantine-robust methods address this issue by using robust aggregation rules to aggregate the received messages, but rely on the assumption that all the regular workers have i.i.d. data, which is not the case in many federated learning applications. In light of the significance of reducing stochastic gradient noise for mitigating the effect of Byzantine attacks, we use a resampling strategy to reduce the impact of both inner variation (that describes the sample heterogeneity on every regular worker) and outer variation (that describes the sample heterogeneity among the regular workers), along with a stochastic average gradient algorithm to gradually eliminate the inner variation. The variance-reduced messages are then aggregated with a robust geometric median operator. We prove that the proposed method reaches a neighborhood of the optimal solution at a linear convergence rate and the learning error is determined by the number of Byzantine workers. Numerical experiments corroborate the theoretical results and show that the proposed method outperforms the state-of-the-arts in the non-i.i.d. setting.

研究动机与目标

• 为解决在工作者数据非独立同分布时拜占庭攻击对联邦学习的影响，此类攻击会削弱标准鲁棒聚合规则的有效性。
• 减少在非独立同分布设置下由内部变化（工作者内部数据异质性）和外部变化（工作者间异质性）引起的随机梯度噪声。
• 设计一种鲁棒聚合机制，即使在存在未知数量的拜占庭工作者发送恶意消息的情况下，也能保持收敛性和准确性。
• 在非独立同分布数据和拜占庭攻击条件下建立理论收敛保证，且明确依赖于拜占庭工作者的数量。

提出的方法

• 采用重采样策略，以减轻每个正常工作者内部样本异质性（内部变化）和正常工作者之间异质性（外部变化）对随机梯度的影响。
• 应用SAGA算法，通过为每个工作者维护并更新过去梯度的运行平均值，完全消除内部变化。
• 为每个正常工作者使用方差缩减的随机梯度估计，随后通过鲁棒的几何中位数算子进行聚合，以抵抗拜占庭消息的影响。
• 引入一个李雅普诺夫函数以分析收敛性，该函数同时包含到最优解的距离项和方差缩减误差项。
• 推导出一个步长条件，通过限制几何中位数聚合中的误差传播，确保线性收敛。
• 在实际中采用$ε$-近似几何中位数，以在计算成本与鲁棒性之间取得平衡，并给出相应的误差界。

实验结果

研究问题

• RQ1 方差缩减技术能否有效缓解联邦学习中非独立同分布数据与拜占庭攻击的影响？
• RQ2 结合重采样与基于SAGA的方差缩减是否能提升在存在拜占庭工作者的非独立同分布设置下的鲁棒性与收敛性？
• RQ3 在拜占庭攻击与非独立同分布数据条件下，方差缩减联邦学习方法的理论收敛速率如何？
• RQ4 在所提框架中，学习误差如何随拜占庭工作者数量变化？
• RQ5 所提方法能否在非独立同分布数据设置下超越现有最先进拜占庭鲁棒联邦学习算法？

主要发现

• 所提方法在非独立同分布数据和拜占庭攻击条件下，实现了对最优解邻域的线性收敛。
• 学习误差明确地由拜占庭工作者数量界定，误差项呈$\mathcal{O}\left(\left(d + \frac{1-d}{R}\right)C_{s\alpha}^{2}\sigma^{2} + dC_{s\alpha}^{2}\delta^{2}\right)$的量级。
• 该方法在凸与非凸联邦学习问题中均优于最先进方法，尤其在非独立同分布数据设置下表现更优。
• 理论分析证实，步长条件$\gamma \leq \frac{\mu}{2\sqrt{10}J^{2}L^{2}C_{s\alpha}}$可确保线性收敛，且误差呈几何级衰减。
• 数值实验验证了理论结果，表明方差缩减在拜占庭攻击下显著提升了鲁棒性与收敛速度。
• 在方差缩减后采用几何中位数聚合，能有效抑制恶意梯度的影响，即使拜占庭工作者合谋且具备完全情报亦然。