[论文解读] A Survey on Fault-tolerance in Distributed Optimization and Machine Learning

Shuo Liu|arXiv (Cornell University)|Jun 16, 2021

IoT and Edge/Fog Computing参考文献 121被引用 6

一句话总结

本综述全面概述了分布式优化与机器学习中的容错技术，重点涵盖拜占庭容错、梯度过滤、梯度编码以及隐私保护技术。文章识别出在可扩展性、异步性及对抗性建模方面的关键挑战，并指出了高效、稳健且私密的分布式学习系统中的开放性问题。

ABSTRACT

The robustness of distributed optimization is an emerging field of study, motivated by various applications of distributed optimization including distributed machine learning, distributed sensing, and swarm robotics. With the rapid expansion of the scale of distributed systems, resilient distributed algorithms for optimization are needed, in order to mitigate system failures, communication issues, or even malicious attacks. This survey investigates the current state of fault-tolerance research in distributed optimization, and aims to provide an overview of the existing studies on both fault-tolerant distributed optimization theories and applicable algorithms.

研究动机与目标

• 分析当前分布式优化与机器学习领域中容错研究的现状。
• 考察在各种系统架构下，包括梯度过滤和梯度编码在内的拜占庭容错算法。
• 研究分布式学习系统中容错与隐私的交叉问题。
• 识别在异步性、对等网络及对抗性建模方面，实现稳健分布式优化所面临的开放性挑战。
• 系统性地概述容错分布式优化中的鲁棒性记号与可解条件。

提出的方法

• 将容错方法分类为拜占庭容错与基于冗余的梯度过滤和编码方法。
• 回顾诸如Bulyan和Krum等梯度过滤技术，这些技术可识别并拒绝分布式SGD中的恶意梯度。
• 分析通过冗余容忍延迟节点和拜占庭故障的梯度编码方法。
• 考察包括基于服务器和对等模型在内的系统架构，突出不同算法的适用性差异。
• 引入鲁棒性记号，如$(f,r;\epsilon)$-冗余，以建模对拜占庭故障和延迟节点的容忍能力。
• 评估隐私与容错之间的权衡，特别是在差分隐私梯度过滤中，误差率呈$\frac{d}{b^2}$量级。

实验结果

研究问题

• RQ1 对于拜占庭容错的分布式优化，其理论可解条件是什么，特别是关于代价函数中的冗余性？
• RQ2 梯度过滤与梯度编码方法如何在分布式随机梯度下降中实现容错？
• RQ3 在对等网络与基于服务器的网络拓扑结构下，容错算法的性能与收敛性权衡如何？
• RQ4 如何在不显著降低模型准确率的前提下，将容错性与差分隐私结合于分布式学习中？
• RQ5 将容错算法扩展至异步和动态网络环境时，存在哪些开放性挑战？

主要发现

• 在强凸学习任务中，具备差分隐私的拜占庭容错梯度过滤器的训练误差率量级为$\frac{d}{b^2}$，其中$d$为模型维度，$b$为批量大小。
• 非私有的梯度过滤器的误差率与$d$无关，表明隐私与容错效率之间存在显著权衡。
• 现有梯度过滤器通常面临高计算成本或在随机设置下收敛性弱的问题。
• 对等网络架构下的拜占庭容错研究仍处于探索阶段，与基于服务器的模型相比，系统性结果较少。
• 异步容错优化仍是开放领域，极少有研究明确结合异步性与拜占庭容错。
• $(f,r;\epsilon)$-冗余模型将$(2f,\epsilon)$-冗余扩展为可同时处理最多$f$个拜占庭节点和$r$个延迟节点，提供统一的故障模型。