[论文解读] Federated Adversarial Learning: A Framework with Convergence Analysis

Xiaoxiao Li, Zhao Song+1 more|arXiv (Cornell University)|Aug 7, 2022

Privacy-Preserving Technologies in Data被引用 8

一句话总结

本文提出联邦对抗学习（Federated Adversarial Learning, FAL），一种新颖的框架，通过客户端内部循环生成对抗样本，并通过外部循环进行本地模型更新，随后使用FedAvg聚合，将对抗训练整合到联邦学习中。作者在非独立同分布（non-IID）数据和过参数化的两层ReLU网络下，理论上证明了该方法可收敛至$\epsilon$-最优鲁棒损失，即使在多轮本地更新和梯度近似挑战下依然成立。

ABSTRACT

Federated learning (FL) is a trending training paradigm to utilize decentralized training data. FL allows clients to update model parameters locally for several epochs, then share them to a global model for aggregation. This training paradigm with multi-local step updating before aggregation exposes unique vulnerabilities to adversarial attacks. Adversarial training is a popular and effective method to improve the robustness of networks against adversaries. In this work, we formulate a general form of federated adversarial learning (FAL) that is adapted from adversarial learning in the centralized setting. On the client side of FL training, FAL has an inner loop to generate adversarial samples for adversarial training and an outer loop to update local model parameters. On the server side, FAL aggregates local model updates and broadcast the aggregated model. We design a global robust training loss and formulate FAL training as a min-max optimization problem. Unlike the convergence analysis in classical centralized training that relies on the gradient direction, it is significantly harder to analyze the convergence in FAL for three reasons: 1) the complexity of min-max optimization, 2) model not updating in the gradient direction due to the multi-local updates on the client-side before aggregation and 3) inter-client heterogeneity. We address these challenges by using appropriate gradient approximation and coupling techniques and present the convergence analysis in the over-parameterized regime. Our main result theoretically shows that the minimum loss under our algorithm can converge to $ε$ small with chosen learning rate and communication rounds. It is noteworthy that our analysis is feasible for non-IID clients.

研究动机与目标

• 填补联邦学习设置中对抗训练收敛性与鲁棒性理论理解的空白。
• 克服联邦学习中极小-极大优化、多轮本地客户端更新以及数据异构性带来的挑战。
• 理论上证明在过参数化神经网络下，联邦对抗训练可收敛至较小的鲁棒损失。
• 确保在非独立同分布客户端数据分布下具有可行性，这是联邦学习中常见的现实挑战。
• 利用梯度近似与耦合技术，在过参数化范式下提供严谨的收敛性分析。

提出的方法

• 将FAL形式化为一个带有全局鲁棒训练损失函数的极小-极大优化问题。
• 在客户端实现双循环结构：内部循环用于使用PGD生成对抗样本，外部循环用于本地模型更新。
• 使用FedAvg进行全局模型聚合，保护客户端之间的数据隐私。
• 应用梯度近似技术，以处理因多轮本地训练步骤导致的非梯度方向更新。
• 利用耦合技术与伪网络，弥合真实与近似全局梯度之间的差距。
• 利用概率工具与神经网络初始化理论，证明在初始化附近存在鲁棒模型。

实验结果

研究问题

• RQ1 在过参数化范式下，联邦对抗训练能否收敛至较小的鲁棒损失？
• RQ2 当客户端间存在非独立同分布数据分布时，FAL的收敛性表现如何？
• RQ3 当客户端在聚合前执行多轮本地更新时，鲁棒性与收敛性的理论保证是什么？
• RQ4 如何利用梯度近似与耦合技术分析在极小-极大优化与客户端异构性存在下的收敛性？
• RQ5 当全局模型通过通信受限的FedAvg进行更新时，所提出的FAL框架是否仍能保持鲁棒性与收敛性？

主要发现

• 在适当的学习率与通信轮次下，FAL框架以高概率收敛至$\epsilon$-最优鲁棒损失。
• 理论分析证实，即使在非独立同分布数据分布下，该方法仍能实现收敛，这是实际联邦学习中的重大挑战。
• 收敛结果在过参数化范式下成立，其中网络宽度为训练样本数量的多项式函数。
• 以至少$1 - \exp(-\Omega(m^{1/3}))$的概率证明了在初始化附近存在鲁棒模型，其中$m$为隐层宽度。
• 分析考虑了极小-极大优化的复杂性，以及因多轮本地训练步骤导致的缺乏直接梯度更新的问题。
• 该框架确保全局鲁棒损失$\mathcal{L}_{\mathcal{A}^{*}}(f_{U^{*}}) \leq \epsilon$以高概率成立，验证了训练模型的鲁棒性。