[论文解读] Byzantine Fault Tolerance in Distributed Machine Learning : a Survey

Djamila Bouhata, Hamouma Moumen+2 more|arXiv (Cornell University)|May 5, 2022

Blockchain Technology Applications and Security被引用 4

一句话总结

本综述对分布式机器学习（DML）中的拜占庭容错（BFT）进行了全面分析，重点关注随机梯度下降（SGD）等一阶优化方法。根据通信模式、优化方法和拓扑结构对BFT方法进行分类，突出显示过滤机制最为普遍，而基于区块链的解决方案尽管采用有限，但前景广阔。

ABSTRACT

Byzantine Fault Tolerance (BFT) is one of the most challenging problems in Distributed Machine Learning (DML), defined as the resilience of a fault-tolerant system in the presence of malicious components. Byzantine failures are still difficult to deal with due to their unrestricted nature, which results in the possibility of generating arbitrary data. Significant research efforts are constantly being made to implement BFT in DML. Some recent studies have considered various BFT approaches in DML. However, some aspects are limited, such as the few approaches analyzed, and there is no classification of the techniques used in the studied approaches. In this paper, we present a survey of recent work surrounding BFT in DML, mainly in first-order optimization methods, especially Stochastic Gradient Descent(SGD). We highlight key techniques as well as fundamental approaches. We provide an illustrative description of the techniques used in BFT in DML, with a proposed classification of BFT approaches in the context of their fundamental techniques. This classification is established on specific criteria such as communication process, optimization method, and topology setting, which characterize future work methods addressing open challenge

研究动机与目标

• 分析分布式机器学习（DML）中拜占庭容错（BFT）的最新方法。
• 根据通信过程、优化方法和拓扑设置对BFT技术进行分类。
• 识别主流技术，如过滤机制和新兴的基于区块链的解决方案。
• 突出BFT在DML中面临的关键挑战，包括节点故障、恶意行为以及通信低效性。
• 通过概述关键研究方向，特别是联邦学习和部分异步环境中的研究，为未来研究提供指导。

提出的方法

• 本综述对近期关于DML中BFT的研究工作进行了系统性回顾，重点关注一阶优化方法，尤其是SGD。
• 提出了一种基于三个标准的BFT方法分类框架：通信过程（同步、异步、部分异步）、优化方法（一阶、二阶）和拓扑结构（集中式、去中心化、全分布式）。
• 评估了诸如过滤机制（如范数过滤、范数截断过滤）、编码机制（如纠错码）以及基于区块链的系统（如LearningChain、BlockDeepNet）等技术。
• 分析了每种方法的计算复杂度、收敛行为以及数据隐私特性。
• 评估了BFT机制在各种故障模型下的性能，包括拜占庭工作者生成任意梯度的情况。
• 讨论了BFT与现代DML范式（如联邦学习）的集成，强调通信效率以及对节点掉线的鲁棒性。

实验结果

研究问题

• RQ1 在分布式机器学习中，BFT的主流技术是什么？它们在鲁棒性和效率方面如何比较？
• RQ2 不同的通信模型（同步、异步、部分异步）如何影响DML中BFT机制的设计与性能？
• RQ3 过滤机制、编码机制和区块链在缓解DML中拜占庭攻击方面分别起什么作用？它们在实现方式和可扩展性方面有何差异？
• RQ4 拓扑设置（集中式、去中心化、对等网络）如何影响BFT解决方案在DML中的有效性和部署？
• RQ5 在现实世界DML系统中实现稳健BFT的关键开放挑战是什么，特别是在异构且不可靠节点的联邦学习环境中？

主要发现

• 在当前的DML研究中，过滤机制是最广泛使用的BFT技术，其在采用率和实现简便性方面优于编码机制和区块链方案。
• 尽管在实际部署中因严格的协调需求而存在局限性，同步训练设置在多数研究工作中仍被优先采用。
• 基于区块链的BFT解决方案虽然数量有限，但展现出在实现无信任、协作式模型训练方面强大的潜力，兼具数据隐私保护和对投毒攻击的抵抗能力。
• 将区块链与其他BFT技术结合可增强安全性和可扩展性，为构建稳健、去中心化的DML系统提供可行路径。
• 部分异步和异步训练模型在当前DML的BFT研究中仍处于探索不足状态，是当前研究中的关键空白。
• 联邦学习被确定为BFT未来研究的关键领域，因其易受拜占庭节点影响，且在边缘环境中通信不可靠。