[论文解读] Byzantine Fault Tolerant Distributed Linear Regression

Nirupam Gupta, Nitin H. Vaidya|arXiv (Cornell University)|Mar 20, 2019

Bayesian Modeling and Causal Inference参考文献 42被引用 15

一句话总结

本文提出了一种基于范数过滤（范数过滤与范数截断过滤）的拜占庭容错分布式线性回归算法，以增强多智能体系统中分布式梯度下降的鲁棒性。该方法在有界噪声和部分异步环境下，确保对真实参数向量 $ w^* $ 的确定性收敛，计算开销为 $ O(n(d + \log n)) $，相较于先前工作，消除了对数据分布的假设，并支持异步运行。

ABSTRACT

This paper considers the problem of Byzantine fault tolerance in distributed linear regression in a multi-agent system. However, the proposed algorithms are given for a more general class of distributed optimization problems, of which distributed linear regression is a special case. The system comprises of a server and multiple agents, where each agent is holding a certain number of data points and responses that satisfy a linear relationship (could be noisy). The objective of the server is to determine this relationship, given that some of the agents in the system (up to a known number) are Byzantine faulty (aka. actively adversarial). We show that the server can achieve this objective, in a deterministic manner, by robustifying the original distributed gradient descent method using norm based filters, namely 'norm filtering' and 'norm-cap filtering', incurring an additional log-linear computation cost in each iteration. The proposed algorithms improve upon the existing methods on three levels: i) no assumptions are required on the probability distribution of data points, ii) system can be partially asynchronous, and iii) the computational overhead (in order to handle Byzantine faulty agents) is log-linear in number of agents and linear in dimension of data points. The proposed algorithms differ from each other in the assumptions made for their correctness, and the gradient filter they use.

研究动机与目标

• 在存在拜占庭故障智能体的分布式系统中，实现对真实回归参数 $ w^* $ 的确定性计算。
• 消除现有鲁棒统计学习方法所依赖的数据分布的概率性假设。
• 支持部分异步系统，与先前假设完全同步的工作形成对比。
• 将拜占庭容错的计算开销最小化，实现 $ O(n(d + \log n)) $ 的复杂度。
• 将适用范围扩展至线性回归以外的一般分布式优化问题类别。

提出的方法

• 利用范数过滤和范数截断过滤，基于 $ \ell_2 $-范数大小识别并排除恶意梯度。
• 采用一种鲁棒化的分布式梯度下降框架，仅接受在有界范数范围内的梯度。
• 基于类似李雅普诺夫函数 $ h_t $ 的收敛性分析框架，追踪平方距离 $ \|w^t - w^*\|^2 $。
• 引入一个过滤阈值 $ \widehat{D} $，该阈值基于诚实梯度的期望范数，以确保对拜占庭异常值的鲁棒性。
• 依赖于条件 $ n\gamma > f(2\gamma + \mu) $ 以保证收敛，其中 $ \gamma $ 和 $ \mu $ 分别与梯度的平滑性和强凸性相关。
• 通过允许梯度更新存在有界延迟，支持部分异步性，而不会损害收敛性。

实验结果

研究问题

• RQ1 能否在不假设任何特定数据分布的前提下，使分布式线性回归对拜占庭故障具备鲁棒性？
• RQ2 在智能体可能以不同时间更新的部分异步系统中，能否保证收敛？
• RQ3 实现分布式优化中拜占庭容错所需的最小计算开销是多少？
• RQ4 如何设计梯度过滤机制，以确定性方式区分诚实梯度与恶意梯度？
• RQ5 所提出的方法能否推广至线性回归以外的其他分布式优化问题？

主要发现

• 所提出的算法在满足条件 $ n\gamma > f(2\gamma + \mu) $ 的前提下，即使存在最多 $ f $ 个拜占庭故障智能体，也能实现对真实参数 $ w^* $ 的确定性收敛。
• 收敛性不依赖于数据分布，与先前依赖分布假设的概率性方法形成对比。
• 算法对有界延迟具有鲁棒性，支持系统中的部分异步性，相较于先前的完全同步假设是显著改进。
• 计算成本为 $ O(n(d + \log n)) $，在智能体数量上呈对数线性，在维度 $ d $ 上呈线性，具有良好的可扩展性。
• 收敛性分析证明，对所有 $ t \geq \tau $，有 $ \|w^t - w^*\| \leq D^* $，其中 $ D^* $ 是由系统参数导出的有限上界。
• 该方法确保 $ \sum_{t=0}^\infty \eta_t \phi_t < \infty $，结合李雅普诺夫函数分析，意味着收敛至 $ w^* $ 的一个邻域。