[論文レビュー] Byzantine Fault Tolerant Distributed Linear Regression

Nirupam Gupta, Nitin H. Vaidya|arXiv (Cornell University)|Mar 20, 2019

Bayesian Modeling and Causal Inference参考文献 42被引用数 15

ひとこと要約

本稿では、ノルムベースのフィルタリング（ノルムフィルタリングおよびノルムキャップフィルタリング）を用いたビザンチンフォールト耐性分散線形回帰アルゴリズムを提案する。この手法により、多エージェントシステムにおける分散勾配降下法のロバスト化が実現される。有界ノイズおよび部分的非同期環境下でも、真のパラメーターベクトル $ w^* $ へ決定的収束を保証し、計算オーバーヘッドは $ O(n(d + \log n)) $ に抑えられ、従来の手法に比べて分布仮定を排除し、非同期動作をサポートする点で改善が図られている。

ABSTRACT

This paper considers the problem of Byzantine fault tolerance in distributed linear regression in a multi-agent system. However, the proposed algorithms are given for a more general class of distributed optimization problems, of which distributed linear regression is a special case. The system comprises of a server and multiple agents, where each agent is holding a certain number of data points and responses that satisfy a linear relationship (could be noisy). The objective of the server is to determine this relationship, given that some of the agents in the system (up to a known number) are Byzantine faulty (aka. actively adversarial). We show that the server can achieve this objective, in a deterministic manner, by robustifying the original distributed gradient descent method using norm based filters, namely 'norm filtering' and 'norm-cap filtering', incurring an additional log-linear computation cost in each iteration. The proposed algorithms improve upon the existing methods on three levels: i) no assumptions are required on the probability distribution of data points, ii) system can be partially asynchronous, and iii) the computational overhead (in order to handle Byzantine faulty agents) is log-linear in number of agents and linear in dimension of data points. The proposed algorithms differ from each other in the assumptions made for their correctness, and the gradient filter they use.

研究の動機と目的

• ビザンチン障害を起こすエージェントを含む分散システムにおいて、真の回帰パラメータ $ w^* $ を決定的に計算可能にする。
• 既存のロバスト統計的学習手法が要請するデータ分布に関する確率的仮定に依存しないようにする。
• 完全同期性を仮定する従来の手法とは異なり、部分的非同期システムをサポートする。
• ビザンチンフォールト耐性のための計算オーバーヘッドを最小限に抑え、$ O(n(d + \log n)) $ の複雑度を達成する。
• 線形回帰にとどまらず、一般の分散最適化問題のクラスへも応用可能であることを拡張する。

提案手法

• 勾配の $ \ell_2 $-ノルムの大きさに基づいて、悪意ある勾配を特定・除外するためのノルムフィルタリングおよびノルムキャップフィルタリングを採用する。
• 有界なノルム範囲内にある勾配のみを受け入れる、ロバスト化された分散勾配降下フレームワークを用いる。
• 正準距離 $ \|w^t - w^*\|^2 $ を追跡するリャプノフ関数に類似した関数 $ h_t $ を用いた収束解析フレームワークを適用する。
• 誠実な勾配の期待ノルムに基づいて導出されるフィルタリング閾値 $ \widehat{D} $ を導入し、ビザンチン外れ値に対する耐性を確保する。
• 収束を保証するための条件 $ n\gamma > f(2\gamma + \mu) $ を用いる。ここで $ \gamma $ および $ \mu $ は勾配の滑らかさおよび強い凸性に関連する。
• 勾配更新における遅延が有限範囲に制限される部分的非同期性をサポートし、収束性を損なわない。

実験結果

リサーチクエスチョン

• RQ1 特定のデータ分布を仮定せずに、分散線形回帰をビザンチン障害に対してロバストにできるか？
• RQ2 エージェントが異なるタイミングで更新する部分的非同期システムにおいても収束を保証できるか？
• RQ3 分散最適化におけるビザンチンフォールト耐性を達成するために必要な最小限の計算オーバーヘッドは何か？
• RQ4 決定論的な方法で、誠実な勾配と悪意ある勾配を識別するための勾配フィルタリングはどのように設計できるか？
• RQ5 提案手法は線形回帰にとどまらず、他の分散最適化問題へ一般化可能か？

主な発見

• 提案アルゴリズムは、条件 $ n\gamma > f(2\gamma + \mu) $ を満たす限り、最大 $ f $ 個のビザンチン障害エージェントが存在する状況下においても、真のパラメータ $ w^* $ へ決定的に収束する。
• 従来の確率的手法とは異なり、データ分布の仮定が不要であるため、分布に依存しない収束性が保証される。
• 有界な遅延に耐えうるため、システムの部分的非同期性をサポートする。これは、従来の完全同期仮定に比べて顕著な改善である。
• 計算コストは $ O(n(d + \log n)) $ であり、エージェント数に対して対数線形、次元 $ d $ に対して線形であるため、スケーラブルである。
• 収束解析により、すべての $ t \geq \tau $ に対して $ \|w^t - w^*\| \leq D^* $ が成り立つことが示され、ここで $ D^* $ はシステムパラメータから導かれる有限の境界である。
• また、$ \sum_{t=0}^\infty \eta_t \phi_t < \infty $ が成り立つことが保証され、リャプノフ関数解析と組み合わせることで、$ w^* $ の近傍への収束が示唆される。