[论文解读] Byzantine-Resilient Federated Learning with Heterogeneous Data Distribution

Saurav Prakash, Hanieh Hashemi+3 more|arXiv (Cornell University)|Oct 15, 2020

Privacy-Preserving Technologies in Data参考文献 65被引用 12

一句话总结

DiverseFL 提出了一种拜占庭容错的联邦学习框架，通过将客户端的更新与基于可信执行环境（TEE）的个性化引导更新进行比较，来检测恶意客户端，从而在保护数据隐私的同时实现接近最优的性能。在非独立同分布（non-IID）设置下，其收敛性和鲁棒性优于基于相似度的方法。

ABSTRACT

For mitigating Byzantine behaviors in federated learning (FL), most state-of-the-art approaches, such as Bulyan, tend to leverage the similarity of updates from the benign clients. However, in many practical FL scenarios, data is non-IID across clients, thus the updates received from even the benign clients are quite dissimilar. Hence, using similarity based methods result in wasted opportunities to train a model from interesting non-IID data, and also slower model convergence. We propose DiverseFL to overcome this challenge in heterogeneous data distribution settings. Rather than comparing each client's update with other client updates to detect Byzantine clients, DiverseFL compares each client's update with a guiding update of that client. Any client whose update diverges from its associated guiding update is then tagged as a Byzantine node. The FL server in DiverseFL computes the guiding update in every round for each client over a small sample of the client's local data that is received only once before start of the training. However, sharing even a small sample of client's data with the FL server can compromise client's data privacy needs. To tackle this challenge, DiverseFL creates a Trusted Execution Environment (TEE)-based enclave to receive each client's sample and to compute its guiding updates. TEE provides a hardware assisted verification and attestation to each client that its data is not leaked outside of TEE. Through experiments involving neural networks, benchmark datasets and popular Byzantine attacks, we demonstrate that DiverseFL not only performs Byzantine mitigation quite effectively, it also almost matches the performance of OracleSGD, where the server only aggregates the updates from the benign clients.

研究动机与目标

• 为解决基于相似度的拜占庭检测在非 IID 联邦学习中的局限性，即良性客户端更新本身存在固有差异。
• 在不依赖客户端间更新相似度的前提下，实现有效的拜占庭检测，该方法在数据异构性下仍能保持稳定。
• 通过在可信执行环境（TEE）中安全计算和存储引导更新，保护客户端数据隐私。
• 实现与仅聚合良性更新的理想 OracleSGD 系统相当的模型收敛性和鲁棒性。
• 为具有异构数据分布的真实世界联邦学习部署提供一种实用且保护隐私的解决方案。

提出的方法

• 在训练开始时，将每个客户端的初始本地数据样本安全地发送到 TEE 飞地，以计算个性化的引导更新。
• TEE 通过硬件认证和隔离机制确保数据的机密性和完整性。
• 在每轮联邦学习中，服务器将每个客户端的模型更新与自身的引导更新进行比较，以检测偏离情况。
• 对更新显著偏离其引导更新的客户端，标记为拜占庭并从聚合中排除。
• 引导更新作为客户端特定的参考点，替代了客户端间的相似度检查。
• 该方法避免依赖更新相似度，因此在非 IID 数据分布下具有更强的鲁棒性。

实验结果

研究问题

• RQ1 在非 IID 数据分布下，能否使联邦学习中的拜占庭检测具有鲁棒性，即使良性更新本身存在固有差异？
• RQ2 能否设计一种隐私保护机制，在不暴露原始数据的前提下计算客户端特定的引导更新？
• RQ3 在数据异构性下，使用客户端特定的引导更新是否在收敛性和鲁棒性方面优于基于相似度的检测方法？
• RQ4 TEE 方法在拜占庭容错联邦学习中，能在多大程度上实现接近理想 OracleSGD 系统的性能？
• RQ5 在具有真实攻击的非 IID 设置下，DiverseFL 与 Bulyan 等最先进方法相比表现如何？

主要发现

• DiverseFL 实现的模型性能几乎与 OracleSGD 相当，后者假设可完全识别良性客户端。
• 由于减少了对客户端间更新相似度的依赖，该方法在非 IID 设置下显著优于基于相似度的方法（如 Bulyan）。
• TEE 的使用确保了客户端数据样本未被泄露，提供了强有力的隐私保障。
• 即使在高数据异构性和多种拜占庭攻击下，DiverseFL 仍能保持快速收敛。
• 引导更新机制使得在良性更新彼此差异较大的情况下仍能实现准确的拜占庭检测。
• 该系统通过结合隐私保护与高鲁棒性，在真实联邦学习场景中展示了实际可行性。