[论文解读] EIFFeL: Ensuring Integrity for Federated Learning

Amrita Roy Chowdhury, Chuan Guo+2 more|arXiv (Cornell University)|Dec 23, 2021

Privacy-Preserving Technologies in Data被引用 12

一句话总结

EIFFeL 是一种新颖的框架，可在保护隐私的同时实现联邦学习更新的安全聚合，并通过可验证的隐私保护检查确保其完整性。它使用秘密共享的非交互式证明（SNIP）和密码学优化，能够在不暴露原始数据的情况下检测并移除恶意更新，在 MNIST 数据集上实现 100 个客户端、10% 恶意污染的情况下每轮训练仅需 2.4 秒。

ABSTRACT

Federated learning (FL) enables clients to collaborate with a server to train a machine learning model. To ensure privacy, the server performs secure aggregation of updates from the clients. Unfortunately, this prevents verification of the well-formedness (integrity) of the updates as the updates are masked. Consequently, malformed updates designed to poison the model can be injected without detection. In this paper, we formalize the problem of ensuring extit{both} update privacy and integrity in FL and present a new system, extsf{EIFFeL}, that enables secure aggregation of extit{verified} updates. extsf{EIFFeL} is a general framework that can enforce extit{arbitrary} integrity checks and remove malformed updates from the aggregate, without violating privacy. Our empirical evaluation demonstrates the practicality of extsf{EIFFeL}. For instance, with $100$ clients and $10\%$ poisoning, extsf{EIFFeL} can train an MNIST classification model to the same accuracy as that of a non-poisoned federated learner in just $2.4s$ per iteration.

研究动机与目标

• 解决联邦学习中安全聚合掩盖更新所带来的隐私与完整性保障这一关键挑战。
• 形式化一种新协议 SAVI（经验证输入的安全聚合），在不暴露原始数据的前提下验证更新的完整性。
• 设计一个通用系统，通过算术电路支持任意完整性检查，实现与多种鲁棒机器学习防御机制的集成。
• 通过优化密码学协议以实现低延迟和高可扩展性，实现在真实联邦学习场景下的实用性能。
• 支持恶意服务器威胁模型，同时防止拒绝服务攻击，并确保仅对格式正确的更新进行聚合。

提出的方法

• EIFFeL 使用秘密共享的非交互式证明（SNIP），使客户端能够在不泄露数值的情况下密码学地证明其掩码更新的正确性。
• 它利用可验证秘密共享和零知识证明，使服务器能够在不获知实际值的情况下验证更新的完整性。
• 该系统支持以公共参数表示的任意完整性检查，通过算术电路实现，从而灵活集成现有鲁棒学习方法。
• EIFFeL 引入了架构和密码学增强，将 SNIP 扩展至恶意威胁模型，确保对对抗性行为的鲁棒性。
• 它包含性能优化，使效率至少提升 2.3 倍，显著降低通信和计算开销。
• 该框架支持在聚合过程中动态移除格式错误的更新，防止其对全局模型造成影响。

实验结果

研究问题

• RQ1 如何在不损害隐私的前提下验证联邦学习中客户端更新的完整性？
• RQ2 我们能否设计一种安全聚合协议，检测并移除格式错误的更新，同时保持端到端的隐私性？
• RQ3 哪些密码学原原子和系统优化能够实现完整性验证联邦学习的实用性能？
• RQ4 如何以隐私保护的方式支持任意完整性检查（例如，范数边界、统计异常）？
• RQ5 该系统能否抵御恶意服务器攻击，并在验证过程中防止拒绝服务攻击？

主要发现

• 在 MNIST 数据集上，使用 100 个客户端和 10% 恶意污染的情况下，EIFFeL 实现了仅 2.4 秒的训练轮次时间，且准确率与非污染联邦学习者相当。
• 该系统通过算术电路支持任意完整性检查，可与广泛多样的鲁棒机器学习防御机制集成。
• 与基于基线 SNIP 的方法相比，EIFFeL 的优化使性能至少提升 2.3 倍。
• 它成功在不暴露原始更新的情况下移除格式错误的更新，有效保护了隐私。
• 该框架对恶意服务器具有鲁棒性，并通过隔离和丢弃无效输入，防止了拒绝服务攻击。
• EIFFeL 在功能性和威胁模型覆盖范围方面优于先前工作，支持任意检查、恶意服务器防御以及动态更新移除。