[论文解读] FLTrust: Byzantine-robust Federated Learning via Trust Bootstrapping

Xiaoyu Cao, Minghong Fang+2 more|arXiv (Cornell University)|Dec 27, 2020

Privacy-Preserving Technologies in Data参考文献 44被引用 35

一句话总结

FLTrust 通过使用一个小型、干净的根数据集和一个服务器模型来对抗拜占庭本地模型中毒攻击，在尽量减少客户端改动的情况下实现鲁棒性。

ABSTRACT

Byzantine-robust federated learning aims to enable a service provider to learn an accurate global model when a bounded number of clients are malicious. The key idea of existing Byzantine-robust federated learning methods is that the service provider performs statistical analysis among the clients' local model updates and removes suspicious ones, before aggregating them to update the global model. However, malicious clients can still corrupt the global models in these methods via sending carefully crafted local model updates to the service provider. The fundamental reason is that there is no root of trust in existing federated learning methods. In this work, we bridge the gap via proposing FLTrust, a new federated learning method in which the service provider itself bootstraps trust. In particular, the service provider itself collects a clean small training dataset (called root dataset) for the learning task and the service provider maintains a model (called server model) based on it to bootstrap trust. In each iteration, the service provider first assigns a trust score to each local model update from the clients, where a local model update has a lower trust score if its direction deviates more from the direction of the server model update. Then, the service provider normalizes the magnitudes of the local model updates such that they lie in the same hyper-sphere as the server model update in the vector space. Our normalization limits the impact of malicious local model updates with large magnitudes. Finally, the service provider computes the average of the normalized local model updates weighted by their trust scores as a global model update, which is used to update the global model. Our extensive evaluations on six datasets from different domains show that our FLTrust is secure against both existing attacks and strong adaptive attacks.

研究动机与目标

• 在某些客户端可能存在恶意行为时，推动拜占庭鲁棒的联邦学习。
• 引入一个信任引导机制，利用由服务器管理的干净根数据集。
• 设计一个鲁棒的聚合规则，考虑模型更新的方向和大小。
• 在多数据集上评估 FLTrust 针对标准和自适应中毒攻击的表现。
• 评估相对于 FedAvg 及现有拜占庭鲁棒方法的保真度、鲁棒性和效率。

提出的方法

• 服务器维护一个小型干净的根数据集以及在其上训练的服务器模型。
• 客户端按标准 FL 计算本地模型更新，但会受到服务器驱动的信任信号的评估。
• 信任分数基于本地更新与服务器更新之间的 ReLU 截断余弦相似度。
• 本地更新的模长归一化至与服务器更新相同的范数，以限制中毒影响。
• 全局更新是标准化本地更新的加权平均，权重由信任分数决定，再加上服务器模型更新的考虑。
• 该方法在聚合中同时整合更新的方向和大小，以防御攻击。

实验结果

研究问题

• RQ1 如何通过服务器锚定的根数据集来提高对拜占庭客户端在联邦学习中的鲁棒性？
• RQ2 在无攻击时，FLTrust 的准确性（保真度）是否与 FedAvg 相当，同时在受到攻击时提供鲁棒性？
• RQ3 FLTrust 能否抵御为其聚合规则设计的自适应本地模型中毒攻击？
• RQ4 根数据集的大小和分布对 FLTrust 的性能有何影响？
• RQ5 在多样任务中，FLTrust 的防御与现有的拜占庭鲁棒方法（例如 Krum、Trimmed Mean、Median）相比如何？

主要发现

• 在六个数据集上，FLTrust 仍然能抵御现有的中毒攻击，即使根数据集少于 100 个样本。
• 在具有 40-60% 恶意客户端的自适应攻击下，FLTrust 在 MNIST-0.1 上的 CNN 全局模型准确率可与无攻击状态下的 FedAvg 相媲美。
• 与 Krum、Trimmed Mean 和 Median 相比，FLTrust 在所报道的实验中显示出更高的鲁棒性。
• 在 MNIST-0.1 上使用 FLTrust 训练的 CNN 全局模型在所有评估攻击下的测试误差率为 0.04。
• Krum 在其攻击变体下能够将测试误差率从 0.10 提升至 0.90，显示了 FLTrust 的相对鲁棒性。
• 即使面临对手客户端，FLTrust 在无攻击情况下也能维持接近 FedAvg 的性能。