[论文解读] BayBFed: Bayesian Backdoor Defense for Federated Learning

Kavita Kumari, Phillip Rieger+3 more|arXiv (Cornell University)|Jan 23, 2023

Privacy-Preserving Technologies in Data被引用 6

一句话总结

BayBFed 提出了一种用于联邦学习的新型贝叶斯后门防御方法，通过使用客户端更新的概率建模来检测并过滤恶意更新，而无需依赖对数据分布或攻击模式的假设。通过利用分层Beta-伯努利过程和一种新型的CRP-Jensen聚类算法，该方法在多种数据集上实现了鲁棒的检测效果，同时保持了良性模型的高准确率。

ABSTRACT

Federated learning (FL) allows participants to jointly train a machine learning model without sharing their private data with others. However, FL is vulnerable to poisoning attacks such as backdoor attacks. Consequently, a variety of defenses have recently been proposed, which have primarily utilized intermediary states of the global model (i.e., logits) or distance of the local models (i.e., L2-norm) from the global model to detect malicious backdoors. However, as these approaches directly operate on client updates, their effectiveness depends on factors such as clients' data distribution or the adversary's attack strategies. In this paper, we introduce a novel and more generic backdoor defense framework, called BayBFed, which proposes to utilize probability distributions over client updates to detect malicious updates in FL: it computes a probabilistic measure over the clients' updates to keep track of any adjustments made in the updates, and uses a novel detection algorithm that can leverage this probabilistic measure to efficiently detect and filter out malicious updates. Thus, it overcomes the shortcomings of previous approaches that arise due to the direct usage of client updates; as our probabilistic measure will include all aspects of the local client training strategies. BayBFed utilizes two Bayesian Non-Parametric extensions: (i) a Hierarchical Beta-Bernoulli process to draw a probabilistic measure given the clients' updates, and (ii) an adaptation of the Chinese Restaurant Process (CRP), referred by us as CRP-Jensen, which leverages this probabilistic measure to detect and filter out malicious updates. We extensively evaluate our defense approach on five benchmark datasets: CIFAR10, Reddit, IoT intrusion detection, MNIST, and FMNIST, and show that it can effectively detect and eliminate malicious updates in FL without deteriorating the benign performance of the global model.

研究动机与目标

• 解决现有联邦学习后门防御方法的局限性，这些方法依赖于对客户端模型权重的直接操作，或对数据或攻击策略施加严格假设。
• 开发客户端更新的通用表示形式，以捕捉所有由本地训练策略引起的调整，且独立于数据异质性或客户端特定的优化方式。
• 设计一种检测机制，利用更新的概率度量来稳健识别并过滤中毒模型。
• 在多样化且真实世界的数据集上，有效缓解有针对性的后门攻击，同时保持高良性模型准确率。

提出的方法

• BayBFed 使用分层Beta-伯努利过程，对客户端模型更新计算概率度量，以建模跨客户端的参数变化可能性。
• 采用一种源自中国餐馆过程（Chinese Restaurant Process）的新颖聚类算法 CRP-Jensen，基于其概率度量对更新进行分组，以实现异常检测。
• 该防御框架基于概率表示而非原始权重运行，因此对操纵L2范数或余弦相似度的对抗性策略具有鲁棒性。
• BayBFed 不需要验证数据，也不依赖于数据分布、客户端标签多样性或攻击时间的假设，从而增强了其通用性。
• 该方法通过识别在概率空间中显著偏离良性更新主导分布的聚类，来检测恶意更新。
• 在聚合过程中过滤可疑更新，从而在保持良性数据性能的同时保护全局模型的性能。

实验结果

研究问题

• RQ1 能否构建一种客户端更新的概率表示形式，以涵盖所有由本地训练引起的变异，而无需依赖原始权重值？
• RQ2 这种概率度量是否能够在多样化数据分布和攻击策略下实现后门攻击的稳健检测？
• RQ3 像CRP-Jensen这样的贝叶斯非参数聚类方法，是否在检测中毒更新方面优于现有的基于距离或范数的检测方法？
• RQ4 该防御方法是否能在非独立同分布（non-IID）和真实世界环境中，同时保持高良性模型准确率并有效缓解有针对性的后门攻击？

主要发现

• BayBFed 在无需依赖数据分布、客户端标签多样性或攻击时间假设的前提下，有效检测并过滤了联邦学习中的恶意更新。
• 该防御在所有评估的数据集上均保持了高良性模型准确率，包括 CIFAR10、MNIST、FMNIST、Reddit 和物联网入侵检测数据集。
• BayBFed 能够抵御通过操纵L2范数或余弦相似度来绕过传统防御的高级后门攻击。
• 即使恶意更新被精心隐藏在良性更新的分布之中，CRP-Jensen 聚类算法仍能成功识别出它们。
• 实证评估证实，攻击者无法在同时保持有效后门功能的前提下绕过 BayBFed。
• 贝叶斯非参数建模的使用，使得该方法具备通用性、鲁棒性和可扩展性，适用于多种联邦学习场景。