[论文解读] A First Order Meta Stackelberg Method for Robust Federated Learning

Yunian Pan, Tao Li+4 more|arXiv (Cornell University)|Jun 23, 2023

Adversarial Robustness in Machine Learning被引用 6

一句话总结

本文通过将对抗性联邦学习建模为贝叶斯斯塔克尔贝格马尔可夫博弈（BSMG），提出了一种一阶元斯塔克尔贝格学习（meta-SL）方法，以实现鲁棒的联邦学习。该方法引入了一种类元斯塔克尔贝格均衡（meta-SE）概念，并设计了一种可证明高效的算法，该算法在 O(ε⁻²) 次迭代内收敛至一阶 ε-均衡，每次迭代使用 O(ε⁻⁴) 个样本，从而能够自适应防御未知或自适应攻击，如模型投毒攻击和后门攻击。

ABSTRACT

Previous research has shown that federated learning (FL) systems are exposed to an array of security risks. Despite the proposal of several defensive strategies, they tend to be non-adaptive and specific to certain types of attacks, rendering them ineffective against unpredictable or adaptive threats. This work models adversarial federated learning as a Bayesian Stackelberg Markov game (BSMG) to capture the defender's incomplete information of various attack types. We propose meta-Stackelberg learning (meta-SL), a provably efficient meta-learning algorithm, to solve the equilibrium strategy in BSMG, leading to an adaptable FL defense. We demonstrate that meta-SL converges to the first-order $\varepsilon$-equilibrium point in $O(\varepsilon^{-2})$ gradient iterations, with $O(\varepsilon^{-4})$ samples needed per iteration, matching the state of the art. Empirical evidence indicates that our meta-Stackelberg framework performs exceptionally well against potent model poisoning and backdoor attacks of an uncertain nature.

研究动机与目标

• 解决现有联邦学习防御方法非自适应且仅针对已知攻击类型的问题。
• 将对抗性联邦学习建模为贝叶斯斯塔克尔贝格马尔可夫博弈（BSMG），以捕捉关于攻击类型的信息不完全性。
• 提出一种元斯塔克尔贝格均衡（meta-SE）概念，即使在信息不对称的情况下，也能实现在在线执行过程中的战略自适应。
• 设计一种可证明高效的、一阶的元斯塔克尔贝格学习（meta-SL）算法，具备最优的收敛性和样本复杂度。

提出的方法

• 将对抗性联邦学习建模为贝叶斯斯塔克尔贝格马尔可夫博弈（BSMG），以在信息不完全条件下建模防御者-攻击者之间的互动。
• 引入一种新的解概念：元斯塔克尔贝格均衡（meta-SE），通过实时反馈实现元策略自适应，从而实现自适应防御。
• 提出元斯塔克尔贝格学习（meta-SL），一种使用去偏元强化学习原理的一阶算法，用于在预训练阶段求解 BSMG。
• 开发 Reptile Meta-SL 作为完全一阶的变体，仅使用随机梯度，避免了海森矩阵计算，从而提升可扩展性。
• 利用元学习在预训练阶段从一组潜在攻击中泛化，从而在在线执行过程中实现快速适应。
• 采用两阶段框架：在模拟攻击上预训练元策略，然后利用未知攻击的实时反馈在线调整该策略。

Figure 1 : A schematic illustration of the meta-Stagberg game framework. In the pertaining stage, a simulated environment is constructed using generated data and a set of attacks sampled from the attack domain consisting of various attack strategies. The defender utilizes meta-Stackelberg learning (

实验结果

研究问题

• RQ1 元学习框架是否能够在对抗性联邦学习中实现对未知或自适应攻击的鲁棒且自适应的防御？
• RQ2 贝叶斯斯塔克尔贝格马尔可夫博弈（BSMG）如何有效建模在信息不完全条件下的战略互动？
• RQ3 一阶元斯塔克尔贝格学习算法在求解 BSMG 均衡时的收敛性和样本复杂度如何？
• RQ4 元斯塔克尔贝格均衡（meta-SE）是否在动态、不确定的攻击环境中优于传统贝叶斯斯塔克尔贝格均衡？
• RQ5 所提出方法在面对组合性或演化性攻击（如同时存在的模型投毒和后门攻击）时表现如何？

主要发现

• meta-SL 算法在 O(ε⁻²) 次梯度迭代内收敛至一阶 ε-均衡，其复杂度与当前最先进结果一致。
• 每次迭代的样本复杂度为 O(ε⁻⁴)，这是最优的，并与近期在非凸双层优化中的结果一致。
• Reptile Meta-SL 变体仅使用一阶梯度即实现了相当的性能，避免了昂贵的海森矩阵计算。
• 实验结果表明，该方法对强大且自适应的攻击（包括基于强化学习的攻击和组合性投毒/后门威胁）表现出显著的鲁棒性。
• 该框架仅需少量实时反馈批次即可在在线执行中实现快速适应，展现出良好的实际可部署性。
• 所提出的元斯塔克尔贝格均衡（meta-SE）能有效处理信息不对称问题，并在动态对抗环境中实现战略自适应。

(a)