[论文解读] A Platform-Free Proof of Federated Learning Consensus Mechanism for Sustainable Blockchains

Yuntao Wang, Haixia Peng+4 more|arXiv (Cornell University)|Aug 23, 2022

Privacy-Preserving Technologies in Data被引用 5

一句话总结

该论文提出PF-PoFL，一种无平台、去中心化的共识机制，将工作量证明（PoW）挖矿中浪费的能源重新用于联邦学习（FL），实现跨矿工的安全、隐私保护型AI模型训练。通过整合新型区块结构、基于信用的激励机制以及基于博弈论的联邦组织机制，PF-PoFL实现了接近最优的社会福利（与穷举搜索相比差距不超过2.1%），并相较非合作挖矿效率提升高达67%。

ABSTRACT

Proof of work (PoW), as the representative consensus protocol for blockchain, consumes enormous amounts of computation and energy to determine bookkeeping rights among miners but does not achieve any practical purposes. To address the drawback of PoW, we propose a novel energy-recycling consensus mechanism named platform-free proof of federated learning (PF-PoFL), which leverages the computing power originally wasted in solving hard but meaningless PoW puzzles to conduct practical federated learning (FL) tasks. Nevertheless, potential security threats and efficiency concerns may occur due to the untrusted environment and miners' self-interested features. In this paper, by devising a novel block structure, new transaction types, and credit-based incentives, PF-PoFL allows efficient artificial intelligence (AI) task outsourcing, federated mining, model evaluation, and reward distribution in a fully decentralized manner, while resisting spoofing and Sybil attacks. Besides, PF-PoFL equips with a user-level differential privacy mechanism for miners to prevent implicit privacy leakage in training FL models. Furthermore, by considering dynamic miner characteristics (e.g., training samples, non-IID degree, and network delay) under diverse FL tasks, a federation formation game-based mechanism is presented to distributively form the optimized disjoint miner partition structure with Nash-stable convergence. Extensive simulations validate the efficiency and effectiveness of PF-PoFL.

研究动机与目标

• 为解决传统工作量证明（PoW）区块链中巨大的能源浪费问题，通过将计算能力重新用于实际的AI训练。
• 在不依赖中心化平台或可信协调者的情况下，实现去中心化、安全且隐私保护的联邦学习（FL）。
• 设计一种自组织的矿工池形成机制，能够根据矿工的异构特征（数据质量、非独立同分布程度、网络延迟）自适应调整，以实现最优的FL性能。
• 在无信任环境中确保对欺骗和Sybil攻击的鲁棒性，同时保持共识效率和模型质量。

提出的方法

• 引入新型区块结构和新型交易类型，以在区块链上原生支持FL任务外包、模型评估及奖励分发。
• 采用基于信用的激励机制，鼓励诚实参与，提升去中心化FL挖矿中的共识效率。
• 设计用户级别的差分隐私机制，防止在矿工间进行联邦学习模型训练时发生隐性隐私泄露。
• 提出一种联邦组织博弈（FFG-TU），具备纳什稳定收敛性，使矿工能够基于异构特征自组织成互不重叠、优化的矿池。
• 使用模型排名合约与区块奖励合约，实现无需中心化协调的财务结算与账本一致性维护。
• 应用动态池形成算法，能够根据不同的FL任务需求和矿工异质性自适应调整，确保高社会福利与低区块延迟。

实验结果

研究问题

• RQ1 能否在不依赖中心化平台或可信协调者的情况下，有效回收PoW挖矿中浪费的能源用于实际的联邦学习？
• RQ2 如何设计一种去中心化、安全且隐私保护的FL共识机制，以抵御欺骗和Sybil攻击？
• RQ3 在具有不同数据质量、非独立同分布分布和网络延迟的异构FL环境中，最优的矿工池应如何形成？
• RQ4 如何通过基于信用的激励机制与博弈论机制，确保在自组织过程中实现稳定、高效且纳什稳定的池形成？
• RQ5 与穷举法和固定池基准相比，所提出的PF-PoFL机制在多大程度上可实现接近最优的社会福利？

主要发现

• 所提出的FFG-TU博弈在7次迭代后，实现接近最优的社会福利，与穷举最优解的性能差距不超过2.1%。
• 在相同条件下，PF-PoFL相较非合作挖矿方案提升社会福利达67%，相较PoFL方案[15]提升17.6%。
• 联邦组织算法在7次迭代内收敛至纳什稳定的不相交分区结构，证明了矿工自组织的稳定与高效。
• 每轮切换操作数满足 |∑(h)| ≤ |ℑ(h)| + 1，验证了算法在动态池重构中的收敛性与效率。
• 系统在异构训练条件下仍保持低区块延迟，并确保模型性能满足UDP保证。
• 用户级别的差分隐私机制在矿工间联邦模型训练过程中有效防止了隐性隐私泄露。