[论文解读] Federated TrustChain: Blockchain-Enhanced LLM Training and Unlearning

Xuhan Zuo, Minghao Wang+5 more|arXiv (Cornell University)|Jun 6, 2024

Cloud Data Security Solutions被引用 4

一句话总结

本文提出 Federated TrustChain，一种集成区块链的联邦学习框架，用于大型语言模型（LLMs），可实现透明、可问责且高效的遗忘学习。通过利用 Hyperledger Fabric 实现防篡改日志记录，并结合经过调优超参数的低秩适应（LoRA），该框架在 IMDB 和 Twitter 数据集上的遗忘性能与从零开始重新训练相当——IMDB 上准确率仅下降 0.05%，Twitter 上仅下降 0.19%，同时保持较低的计算开销。

ABSTRACT

The development of Large Language Models (LLMs) faces a significant challenge: the exhausting of publicly available fresh data. This is because training a LLM needs a large demanding of new data. Federated learning emerges as a promising solution, enabling collaborative model to contribute their private data to LLM global model. However, integrating federated learning with LLMs introduces new challenges, including the lack of transparency and the need for effective unlearning mechanisms. Transparency is essential to ensuring trust and fairness among participants, while accountability is crucial for deterring malicious behaviour and enabling corrective actions when necessary. To address these challenges, we propose a novel blockchain-based federated learning framework for LLMs that enhances transparency, accountability, and unlearning capabilities. Our framework leverages blockchain technology to create a tamper-proof record of each model's contributions and introduces an innovative unlearning function that seamlessly integrates with the federated learning mechanism. We investigate the impact of Low-Rank Adaptation (LoRA) hyperparameters on unlearning performance and integrate Hyperledger Fabric to ensure the security, transparency, and verifiability of the unlearning process. Through comprehensive experiments and analysis, we showcase the effectiveness of our proposed framework in achieving highly effective unlearning in LLMs trained using federated learning. Our findings highlight the feasibility of integrating blockchain technology into federated learning frameworks for LLMs.

研究动机与目标

• 为解决联邦 LLM 训练中缺乏透明度与可问责性的问题，即难以验证私有数据贡献的真实性。
• 实现对特定数据点的有效且可验证的遗忘学习，而无需从零开始重新训练。
• 将区块链技术整合到联邦学习中用于 LLM，以确保模型更新与遗忘操作的不可篡改性、可追溯性与可审计性。
• 评估 LoRA 超参数（秩、缩放因子、dropout）对区块链审计环境中遗忘性能的影响。
• 展示在极低性能开销下，区块链增强的联邦学习在 LLM 上的可行性与高效性。

提出的方法

• 该框架基于 Hyperledger Fabric 构建基于区块链的架构，将所有模型更新、聚合步骤与遗忘操作记录在防篡改的分布式账本中。
• 采用低秩适应（LoRA）作为微调机制，通过仅修改低秩矩阵，实现在遗忘过程中高效更新参数。
• 通过选择性地移除或更新与特定数据贡献相关的 LoRA 适配器来实现遗忘，同时保持全局模型性能。
• 系统通过 Hyperledger Fabric 中的背书与验证流程强制达成共识，确保所有遗忘操作均经过密码学验证且可审计。
• 系统性地评估 LoRA 超参数（秩 r、缩放因子 alpha、dropout 比率）以优化遗忘效果。
• 使用 IMDB 与 Twitter 数据集评估性能，将遗忘后的准确率与从零开始重新训练的结果进行对比，并测量各训练轮次的时间开销。

实验结果

研究问题

• RQ1 区块链技术的集成在多大程度上提升了联邦 LLM 训练中的透明度与可问责性？
• RQ2 在联邦设置下，基于 LoRA 的遗忘学习在多大程度上可实现与从零开始重新训练相当的性能？
• RQ3 LoRA 超参数（r、alpha、dropout）对遗忘效果与遗忘后模型准确率的影响如何？
• RQ4 在区块链集成到联邦 LLM 训练与遗忘过程中的计算开销如何，特别是在设置时间、事务处理与每轮次时间方面？
• RQ5 基于区块链的系统能否在不干扰训练流程的前提下，确保遗忘操作的可验证性与可审计性？

主要发现

• 在 IMDB 数据集上，最佳 LoRA 配置（r=8, alpha=4, dropout=0.3）达到最终准确率 0.70%，与从零开始重新训练的 0.65% 非常接近，表明遗忘效果极佳。
• 在 Twitter 数据集上，最佳配置（r=1, alpha=2, dropout=0.3）达到 8.27% 的准确率，与重新训练的 8.08% 相比，性能下降极小。
• 平均事务处理时间为 3 秒，包括模型更新与遗忘操作，表明系统能高效处理与 LLM 相关的区块链事务。
• 每轮次训练时间稳定在 28–30 秒，即使在执行遗忘操作时也无明显性能下降。
• 区块链设置时间在 t=0 时为 79 秒，每 1000 次迭代仅增加至 32.3 秒，表明系统具备良好可扩展性与可控开销。
• 该框架成功创建了所有贡献与遗忘操作的防篡改、可验证记录，实现了完整的可审计性与可问责性。