[论文解读] Blockchain-based Trustworthy Federated Learning Architecture

Sin Kit Lo, Yue Liu+5 more|arXiv (Cornell University)|Aug 16, 2021

Privacy-Preserving Technologies in Data参考文献 31被引用 15

一句话总结

本文提出了一种基于区块链的联邦学习架构，以增强医疗人工智能中的问责性和公平性，采用由智能合约驱动的数据-模型溯源注册表和加权公平数据采样器。在新冠状病毒肺炎X光检测任务上的评估表明，与标准联邦学习相比，该方法在模型准确率、泛化能力和公平性方面均有提升。

ABSTRACT

Federated learning is an emerging privacy-preserving AI technique where clients (i.e., organisations or devices) train models locally and formulate a global model based on the local model updates without transferring local data externally. However, federated learning systems struggle to achieve trustworthiness and embody responsible AI principles. In particular, federated learning systems face accountability and fairness challenges due to multi-stakeholder involvement and heterogeneity in client data distribution. To enhance the accountability and fairness of federated learning systems, we present a blockchain-based trustworthy federated learning architecture. We first design a smart contract-based data-model provenance registry to enable accountability. Additionally, we propose a weighted fair data sampler algorithm to enhance fairness in training data. We evaluate the proposed approach using a COVID-19 X-ray detection use case. The evaluation results show that the approach is feasible to enable accountability and improve fairness. The proposed algorithm can achieve better performance than the default federated learning setting in terms of the model's generalisation and accuracy.

研究动机与目标

• 解决涉及多个利益相关方且数据异构的联邦学习系统中的问责性和公平性挑战。
• 通过透明、不可篡改的基于区块链的注册表，实现本地数据和模型更新的可审计性。
• 通过加权公平采样算法减轻联邦学习中的数据分布偏差。
• 在真实世界医疗场景——新冠状病毒肺炎X光检测中验证该方法，其中数据隐私和公平性至关重要。
• 证明区块链集成可在不损害性能的前提下增强联邦学习的可信度。

提出的方法

• 在区块链上实现由智能合约驱动的数据-模型溯源注册表，用于记录和映射本地数据、本地模型更新和全局模型版本，以支持可审计性。
• 系统记录数据溯源和模型谱系，支持对数据来源和模型训练完整性的验证。
• 设计了一种加权公平数据采样算法，以平衡各客户端之间的类别分布，减轻非独立同分布（Non-IID）数据带来的偏差。
• 该算法根据每个客户端的类别频率动态调整采样概率，以提升全局模型的公平性。
• 通过去中心化信任机制和对训练事件的可验证、防篡改日志，将区块链与联邦学习集成。
• 使用多个医院作为客户端的真实世界新冠状病毒肺炎X光检测用例对系统进行评估。

实验结果

研究问题

• RQ1 基于区块链的系统能否提供可验证、不可篡改的数据和模型更新日志，以增强联邦学习中的问责性？
• RQ2 如何缓解数据异构性（非独立同分布分布）以提升联邦模型训练的公平性？
• RQ3 与标准联邦学习相比，所提出的加权公平数据采样器在多大程度上提升了模型的泛化能力和公平性？
• RQ4 区块链与智能合约的集成是否能在不降低性能的前提下增强联邦学习的可信度？
• RQ5 在医学影像任务中，所提出的架构是否在准确率、公平性和鲁棒性方面优于传统的联邦学习？

主要发现

• 基于区块链的数据-模型溯源注册表成功实现了数据和模型谱系的端到端可审计性，支持多方联邦学习中的问责性。
• 加权公平数据采样器显著改善了模型的公平性，减轻了客户端间数据分布不均带来的偏差。
• 在新冠状病毒肺炎X光检测任务中，所提出的架构在模型准确率和泛化性能方面均优于标准联邦学习。
• 评估结果证实，该系统在保障数据隐私的同时，通过区块链日志实现了透明、可验证的模型训练。
• 智能合约与区块链的集成在不引入显著性能开销的前提下，增强了联邦学习流程的可信度。
• 该方法在真实世界医疗场景中展示了可行性与有效性，支持负责任的人工智能部署。