[论文解读] FLVoogd: Robust And Privacy Preserving Federated Learning

Yuhang Tian, Rui Wang+3 more|arXiv (Cornell University)|Jun 24, 2022

Privacy-Preserving Technologies in Data被引用 8

一句话总结

FLVoogd 提出了一种隐私保护的联邦学习框架，利用安全多方计算（SMPC）和 DBSCAN 聚类技术，鲁棒地检测并过滤拜占庭攻击，同时不暴露敏感数据。该框架实现了自适应、无需参数调整的防御机制，并具备强差分隐私保障，在各种攻击类型和非独立同分布（non-IID）数据分布下仍能保持高模型准确率。

ABSTRACT

In this work, we propose FLVoogd, an updated federated learning method in which servers and clients collaboratively eliminate Byzantine attacks while preserving privacy. In particular, servers use automatic Density-based Spatial Clustering of Applications with Noise (DBSCAN) combined with S2PC to cluster the benign majority without acquiring sensitive personal information. Meanwhile, clients build dual models and perform test-based distance controlling to adjust their local models toward the global one to achieve personalizing. Our framework is automatic and adaptive that servers/clients don't need to tune the parameters during the training. In addition, our framework leverages Secure Multi-party Computation (SMPC) operations, including multiplications, additions, and comparison, where costly operations, like division and square root, are not required. Evaluations are carried out on some conventional datasets from the image classification field. The result shows that FLVoogd can effectively reject malicious uploads in most scenarios; meanwhile, it avoids data leakage from the server-side.

研究动机与目标

• 解决联邦学习中模型安全与数据隐私的双重挑战，特别是针对拜占庭攻击和投毒攻击。
• 通过自动、自适应地过滤恶意更新，消除防御机制中手动超参数调优的需求。
• 在模型聚合过程中保护客户端和服务器的隐私，使用避免昂贵操作（如除法和开方）的 SMPC 协议。
• 在非理想数据分布（non-IID）和多种攻击场景下（包括标签翻转、后门攻击和随机上传）保持高模型性能。
• 在聚合后确保 $(\epsilon,\delta)$-差分隐私，同时不损害模型效用或防御有效性。

提出的方法

• 利用 SMPC 安全计算模型更新和聚类操作，实现在不暴露原始数据或模型参数的前提下进行隐私保护的聚合。
• 使用基于 S2PC 的自动 DBSCAN 聚类，根据模型更新的空间分布检测并隔离恶意客户端，而无需事先了解攻击模式。
• 在客户端实现双本地模型，利用基于测试的距离控制机制，使本地更新与全局模型对齐，从而在保持鲁棒性的同时实现个性化。
• 利用 SMPC 原生操作（加法、乘法和比较），避免计算开销大的操作（如除法和开方）。
• 将差分隐私集成到聚合流程中，正式保障 $(\epsilon,\delta)$-DP，确保个体贡献得到保护。
• 设计系统具备自适应性：无需手动调整聚类或防御参数，框架可根据数据分布和更新行为自动调节。

实验结果

研究问题

• RQ1 联邦学习框架是否能在不暴露敏感客户端数据且无需手动参数调优的情况下，检测并拒绝拜占庭攻击？
• RQ2 所提出的基于 SMPC 的 DBSCAN 聚类在多种攻击类型（如随机上传、标签翻转和后门触发）下，识别恶意更新的效率如何？
• RQ3 非 IID 数据分布在多大程度上影响防御机制的鲁棒性？系统在极端数据偏移下是否仍能保持高准确率？
• RQ4 预训练或降低恶意更新比例（PDR）如何影响过滤器检测针对性攻击（如 A6：跨数据集后门）的能力？
• RQ5 该框架是否能在现实联邦学习场景中同时实现强差分隐私保障和高模型性能？

主要发现

• FLVoogd 在大多数攻击场景下成功拒绝了恶意上传，包括 A1（随机）、A2（Krum）、A3（裁剪均值）、A4（标签翻转）和 A5（后门）攻击，多数情况下模型准确率保持在 90% 以上。
• 即使在高非 IID 数据分布（非 IID 比率最高达 0.6）下，该框架仍保持鲁棒性，但当非 IID 比率超过 0.5 时性能下降，原因是更新中方向性方差的丧失。
• 对于针对性攻击如 A6（跨数据集后门），当非 IID 比率超过 0.3 时，过滤器会失效，因为模型无法将异常行为与偏移的数据分布区分开。
• 将模型预训练至约 25% 准确率，并将恶意更新比例（PDR）从 45% 降低至 30%，可显著提升防御性能，使过滤器能更早检测到异常更新。
• 系统实现了自适应、无需参数调整的操作：无需手动调参，框架可根据数据和更新模式自动调节，提升了可用性和鲁棒性。
• 仅使用基本操作（加法、乘法、比较）的 SMPC 避免了除法和开方等昂贵操作，使协议更高效，并与现有 SMPC 框架兼容。