[论文解读] BlockFLA: Accountable Federated Learning via Hybrid Blockchain Architecture

Harsh Desai, Mustafa Safa Özdayi+1 more|arXiv (Cornell University)|Oct 14, 2020

Privacy-Preserving Technologies in Data参考文献 30被引用 10

一句话总结

BlockFLA 提出了一种混合区块链架构，通过智能合约在训练后检测并惩罚后门攻击者，从而在联邦学习（FL）中实现问责制。它使用私有区块链进行高效模型聚合，使用公共区块链实现透明且不可篡改的惩罚，既保持了联邦学习的通信效率，又提供了强大且即插即用的防御机制，以应对模型污染攻击。

ABSTRACT

Federated Learning (FL) is a distributed, and decentralized machine learning protocol. By executing FL, a set of agents can jointly train a model without sharing their datasets with each other, or a third-party. This makes FL particularly suitable for settings where data privacy is desired. At the same time, concealing training data gives attackers an opportunity to inject backdoors into the trained model. It has been shown that an attacker can inject backdoors to the trained model during FL, and then can leverage the backdoor to make the model misclassify later. Several works tried to alleviate this threat by designing robust aggregation functions. However, given more sophisticated attacks are developed over time, which by-pass the existing defenses, we approach this problem from a complementary angle in this work. Particularly, we aim to discourage backdoor attacks by detecting, and punishing the attackers, possibly after the end of training phase. To this end, we develop a hybrid blockchain-based FL framework that uses smart contracts to automatically detect, and punish the attackers via monetary penalties. Our framework is general in the sense that, any aggregation function, and any attacker detection algorithm can be plugged into it. We conduct experiments to demonstrate that our framework preserves the communication-efficient nature of FL, and provide empirical results to illustrate that it can successfully penalize attackers by leveraging our novel attacker detection algorithm.

研究动机与目标

• 为应对联邦学习中日益严重的后门攻击威胁，即恶意客户端在训练过程中污染模型却难以被检测到。
• 提供一种机制，在模型部署后检测并惩罚恶意参与者，即使聚合阶段的防御措施失效。
• 设计一种可扩展、通信高效的区块链架构，支持问责制，同时不损害联邦学习去中心化和隐私保护的本质。
• 实现与任意联邦学习聚合方法（如 FedAvg、signSGD）和攻击者检测算法的即插即用集成。
• 通过混合区块链实现隐私与透明度的平衡：私有链用于聚合，公共链用于惩罚执行。

提出的方法

• 设计一种混合区块链架构，结合使用私有区块链（Hyperledger）进行安全、低延迟的模型聚合，以及使用公共区块链（Ethereum）实现透明且不可篡改的惩罚执行。
• 在两个区块链上部署智能合约，根据预定义规则自动检测并惩罚恶意客户端。
• 使用链下服务器端计算运行一种新型攻击者检测算法，通过统计异常检测识别模型污染行为。
• 与标准联邦学习算法（如 FedAvg 和 signSGD）集成，确保兼容性并最小化开销。
• 自动生成客户端-服务器端智能合约，以确保惩罚机制的结构化与可验证性。
• 利用密码学签名和声誉系统增强信任度，减少检测中的误报。

实验结果

研究问题

• RQ1 混合区块链架构能否有效将通信高效的模型聚合与透明、可问责的惩罚执行解耦？
• RQ2 即使在聚合阶段防御失败，如何在训练后检测并惩罚后门攻击者？
• RQ3 该混合区块链框架在多大程度上保持了联邦学习的通信效率？
• RQ4 该框架能否泛化以支持多种联邦学习聚合算法和检测机制？
• RQ5 链下攻击者检测算法在多大程度上能有效识别向全局模型注入后门的恶意客户端？

主要发现

• BlockFLA 框架通过在私有区块链上执行模型聚合，成功保持了联邦学习的通信效率，避免了公共链带来的高延迟。
• 该系统通过链下异常检测算法实现训练后的后门攻击者检测，实验表明其能以高精度识别恶意客户端。
• 通过公共区块链智能合约执行的经济惩罚措施具有有效威慑作用，可抑制未来联邦学习轮次中的恶意行为。
• 该框架具备通用性，可无缝集成多种聚合方法（包括 FedAvg 和 signSGD），且无需修改核心架构。
• 实证结果表明，与仅使用公共链的方法相比，该混合设计显著降低了 gas 成本和交易延迟，具备实际部署的可行性。
• 攻击者检测算法在 FedAvg 中成功识别出模型污染行为，且误报率极低，证明了链下检测在可扩展环境中的可行性。