[论文解读] Zero-Knowledge Proof-based Practical Federated Learning on Blockchain

Zhibo Xing, Zijian Zhang+5 more|arXiv (Cornell University)|Apr 12, 2023

Privacy-Preserving Technologies in Data被引用 8

一句话总结

本论文提出 ZKP-FL 和 PZKP-FL，这些方案使用零知识证明和区块链在保护本地数据的同时可验证地训练联邦学习模型，且对分数和非线性运算有实际处理方法。

ABSTRACT

Since the concern of privacy leakage extremely discourages user participation in sharing data, federated learning has gradually become a promising technique for both academia and industry for achieving collaborative learning without leaking information about the local data. Unfortunately, most federated learning solutions cannot efficiently verify the execution of each participant's local machine learning model and protect the privacy of user data, simultaneously. In this article, we first propose a Zero-Knowledge Proof-based Federated Learning (ZKP-FL) scheme on blockchain. It leverages zero-knowledge proof for both the computation of local data and the aggregation of local model parameters, aiming to verify the computation process without requiring the plaintext of the local data. We further propose a Practical ZKP-FL (PZKP-FL) scheme to support fraction and non-linear operations. Specifically, we explore a Fraction-Integer mapping function, and use Taylor expansion to efficiently handle non-linear operations while maintaining the accuracy of the federated learning model. We also analyze the security of PZKP-FL. Performance analysis demonstrates that the whole running time of the PZKP-FL scheme is approximately less than one minute in parallel execution.

研究动机与目标

• 以公开可验证的本地计算与全局聚合为动机，推动隐私保护的联邦学习。
• 实现不可暴露本地数据的可验证训练与聚合。
• 扩展 ZKP-FL 以支持分数与非线性运算，适用于实际的 ML 模型。

提出的方法

• 将训练算法转换为适用于 zk-SNARKs（Groth16）的算术电路，并将其划分为更小的子电路以并行生成证明。
• 使用零知识证明在不暴露明文输入或中间输出的情况下验证本地训练的正确性。
• 在区块链智能合约上使用安全求和协议来以隐私保护方式验证并执行全局聚合。
• 引入 Fraction-Integer 映射和受 Taylor 展开启发的方法来处理算术电路中的分数值和非线性运算。
• 修改 Groth16 的证明生成与验证，以隐藏数据并通过 Sigma-协议确保子电路之间的一致性检查的连续性。

实验结果

研究问题

• RQ1 如何在区块链上以公开、隐私保护的方式对联邦学习进行可验证？
• RQ2 零知识证明是否能够在不暴露本地数据的情况下同时验证本地训练正确性与全局聚合？
• RQ3 在基于 zk-SNARK 的 FL 中如何高效地支持分数和非线性运算？
• RQ4 基于区块链的 ZKP 版 FL 系统的安全性与性能特征是什么？

主要发现

• 所提出的 ZKP-FL 方案实现了对本地计算的公开验证和区块链上的安全聚合。
• Practical ZKP-FL（PZKP-FL）方案通过 Fraction-Integer 映射和类似 Taylor 展开的技术扩展了方法，以处理分数和非线性运算。
• 系统通过将训练分割为多个子电路实现并行生成证明，从而提高效率。
• 安全性分析和实验表明，PZKP-FL 方案的运行时间在实验中大致不超过一分钟。