[论文解读] Meta Federated Learning

Omid Aramoon, Pin‐Yu Chen+2 more|arXiv (Cornell University)|Feb 10, 2021

Privacy-Preserving Technologies in Data被引用 4

一句话总结

该论文提出元联邦学习（Meta-FL），一种新型联邦学习框架，通过安全聚合在保护客户端隐私的同时，有效防御后门攻击。通过在每轮训练中对多个客户端群体进行训练并安全聚合其更新，Meta-FL降低了模型更新的方差，从而增强了现有防御方法（如Krum、坐标中位数和截断均值）的鲁棒性，尤其在应对模型替换攻击方面表现更优。

ABSTRACT

Due to its distributed methodology alongside its privacy-preserving features, Federated Learning (FL) is vulnerable to training time adversarial attacks. In this study, our focus is on backdoor attacks in which the adversary's goal is to cause targeted misclassifications for inputs embedded with an adversarial trigger while maintaining an acceptable performance on the main learning task at hand. Contemporary defenses against backdoor attacks in federated learning require direct access to each individual client's update which is not feasible in recent FL settings where Secure Aggregation is deployed. In this study, we seek to answer the following question, Is it possible to defend against backdoor attacks when secure aggregation is in place?, a question that has not been addressed by prior arts. To this end, we propose Meta Federated Learning (Meta-FL), a novel variant of federated learning which not only is compatible with secure aggregation protocol but also facilitates defense against backdoor attacks. We perform a systematic evaluation of Meta-FL on two classification datasets: SVHN and GTSRB. The results show that Meta-FL not only achieves better utility than classic FL, but also enhances the performance of contemporary defenses in terms of robustness against adversarial attacks.

研究动机与目标

• 填补在安全聚合环境下防御后门攻击的空白，安全聚合是现代联邦学习中关键的隐私保护协议。
• 克服现有防御方法的局限性——这些方法需要检查单个客户端的更新，但在安全聚合下不可行。
• 通过设计与隐私保护聚合兼容的框架，改善联邦学习中的鲁棒性-效用权衡。
• 证明增加群体规模可降低聚合更新的方差，从而实现更优的异常值检测与防御性能。

提出的方法

• 提出Meta-FL，一种联邦学习框架，每轮训练多个互不重叠的客户端群体，而非单一群体。
• 使用安全聚合（SecAgg）仅计算并传输群体级别的聚合结果到服务器，从而保护客户端级别的隐私。
• 利用群体聚合结果中更低的方差，提升Krum、坐标中位数和截断均值等鲁棒聚合规则的性能。
• 通过匹配两种框架中的聚合对象数量（Meta-FL中为群体聚合结果，基线FL中为单个更新），确保评估的公平性。
• 使用Sybil客户端模拟对抗行为，这些客户端协同放大其更新，以在安全聚合下模拟现实的后门攻击。
• 在群体聚合结果上应用标准鲁棒聚合技术（如Krum、CWM、TM），以检测并缓解恶意更新。

实验结果

研究问题

• RQ1 当部署安全聚合时，能否在联邦学习中有效防御后门攻击？
• RQ2 每轮使用多个训练群体是否能提升现有防御方法对后门攻击的鲁棒性？
• RQ3 群体聚合结果的方差在多大程度上影响鲁棒聚合规则检测恶意更新的性能？
• RQ4 与标准联邦学习相比，Meta-FL在相同攻击条件下在多大程度上改善了鲁棒性-效用权衡？
• RQ5 在安全聚合下，防御方法对模型替换攻击（即攻击者替换整个模型更新）是否有效？

主要发现

• 与标准FL相比，Meta-FL显著降低了针对简单后门攻击和模型替换攻击的攻击成功率，图3和图4中实线（Meta-FL）始终低于虚线（基线FL）。
• Krum从Meta-FL中受益最多，因为群体聚合结果的方差更低，从而能更有效地分离良性与恶意更新。
• 将群体规模从5增加到15可降低聚合结果的方差，从而在所有攻击场景下提升Krum、CWM和截断均值的鲁棒性，尤其在频繁的Sybil攻击下效果更显著。
• RFA、差分隐私和范数限制等防御方法对后门攻击（尤其是模型替换攻击）效果有限，原因在于后门目标本身并不矛盾。
• Meta-FL中基于异常检测的防御方法（如CWM、TM）性能提升，归因于正常更新分布更加稳定且方差更小。
• Meta-FL在不牺牲效用的前提下增强了鲁棒性，在相同条件下，其准确率和防御有效性均优于标准FL。