[论文解读] Blockchained On-Device Federated Learning

Hyesung Kim, Jihong Park+2 more|arXiv (Cornell University)|Aug 12, 2018

Privacy-Preserving Technologies in Data参考文献 13被引用 14

一句话总结

该论文提出了一种基于区块链的设备端联邦学习（Blockchained On-Device Federated Learning, BlockFL）框架，通过用区块链替代联邦学习中的中心化服务器，实现了安全、无需信任的模型聚合以及激励驱动的协作。通过建模端到端延迟并优化区块生成速率，BlockFL 在矿工失效的情况下仍能实现比原始联邦学习更低的训练延迟，并通过工作量证明（Proof-of-Work）和奖励机制，实现了可证明的安全性和公平性，具备强大的鲁棒性与可扩展性。

ABSTRACT

By leveraging blockchain, this letter proposes a blockchained federated learning (BlockFL) architecture where local learning model updates are exchanged and verified. This enables on-device machine learning without any centralized training data or coordination by utilizing a consensus mechanism in blockchain. Moreover, we analyze an end-to-end latency model of BlockFL and characterize the optimal block generation rate by considering communication, computation, and consensus delays.

研究动机与目标

• 通过用区块链替代中心化服务器，解决中心化联邦学习（FL）中的单点故障问题与激励缺失问题。
• 实现在不共享原始数据的前提下进行设备端机器学习，保护隐私的同时允许模型更新的交换与验证。
• 通过建模通信、计算与共识延迟，对去中心化联邦学习系统中的端到端训练延迟进行建模与最小化。
• 通过区块链的分布式账本与共识机制，确保系统在矿工故障或恶意行为下的弹性与鲁棒性。
• 设计一种与数据贡献成比例的公平奖励机制，激励拥有更大数据集的设备参与。

提出的方法

• BlockFL 架构由设备与矿工组成的网络构成，设备将其本地模型更新上传至指定矿工。
• 矿工验证模型更新，并通过工作量证明（Proof-of-Work, PoW）竞争生成新区块，新区块通过密码学方式链接至区块链。
• 每个设备从最新区块本地重新计算全局模型更新，确保一致性，并具备对单个故障的容错能力。
• 通过组合等待时间、区块传播延迟与PoW计算时间，推导出端到端延迟模型，以区块生成速率（λ）作为优化变量。
• 证明该延迟模型在λ上为凸函数，从而可解析推导出最小化总训练延迟的最优区块生成速率λ*。
• 系统集成了一种与数据贡献成比例的奖励机制，激励拥有更大数据集的设备参与。

实验结果

研究问题

• RQ1 如何在保护数据隐私的前提下，使联邦学习实现去中心化并具备对单点故障的抗性？
• RQ2 在基于区块链的联邦学习系统中，为最小化端到端训练延迟，最优的区块生成速率是什么？
• RQ3 在去中心化联邦学习架构中，矿工故障如何影响训练延迟与模型完整性？
• RQ4 相较于原始联邦学习，基于区块链的共识机制在设备端联邦学习中在公平性与安全性方面提升了多少？
• RQ5 能源限制与矿工可用性如何影响BlockFL系统的可扩展性与性能？

主要发现

• 基于凸延迟模型推导出的最优区块生成速率λ*，相比模拟最优值，可将平均学习完成延迟降低最多1.5%。
• 在使用多个矿工时，BlockFL的训练延迟低于原始联邦学习（仅一个矿工），尤其在矿工失效情况下优势更明显。
• 当矿工数量较多（NM=10）时，BlockFL通过容错机制降低延迟：故障矿工仅影响其关联设备，不影响全局系统。
• 系统在模拟中保持与原始联邦学习相当的测试准确率（约95%），同时显著提升了鲁棒性与去中心化程度。
• 在满足诚实多数条件时，恶意矿工的超越概率在仅5个区块后即低于10^-6，表明系统具备强大的安全保证。
• 降低矿工参与的能源阈值（θe）可提升活跃矿工数量，从而在矿工故障时降低延迟，增强系统弹性。