[論文レビュー] BRIDGE: Byzantine-resilient Decentralized Gradient Descent

Cheng Fang, Zhixiong Yang+1 more|arXiv (Cornell University)|Aug 21, 2019

Sparse and Compressive Sensing TechniquesEngineering被引用数 20

ひとこと要約

本論文は、分散機械学習システムにおける任意のノード障害下でも収束を保証する、ビザンチン耐性を持つ分散型勾配降下フレームワーク「BRIDGE」を提案する。強凸および非凸問題の両方に対して、証明可能な収束を達成し、収束速度はO(log t / t)の非線形的レートを示し、実世界のネットワークにおける悪意ある行動に対してもスケーラブルで頑健である。

ABSTRACT

Machine learning has begun to play a central role in many applications. A multitude of these applications typically also involve datasets that are distributed across multiple computing devices/machines due to either design constraints (e.g., multiagent systems) or computational/privacy reasons (e.g., learning on smartphone data). Such applications often require the learning tasks to be carried out in a decentralized fashion, in which there is no central server that is directly connected to all nodes. In real-world decentralized settings, nodes are prone to undetected failures due to malfunctioning equipment, cyberattacks, etc., which are likely to crash non-robust learning algorithms. The focus of this paper is on robustification of decentralized learning in the presence of nodes that have undergone Byzantine failures. The Byzantine failure model allows faulty nodes to arbitrarily deviate from their intended behaviors, thereby ensuring designs of the most robust of algorithms. But the study of Byzantine resilience within decentralized learning, in contrast to distributed learning, is still in its infancy. In particular, existing Byzantine-resilient decentralized learning methods either do not scale well to large-scale machine learning models, or they lack statistical convergence guarantees that help characterize their generalization errors. In this paper, a scalable, Byzantine-resilient decentralized machine learning framework termed Byzantine-resilient decentralized gradient descent (BRIDGE) is introduced. Algorithmic and statistical convergence guarantees for one variant of BRIDGE are also provided in the paper for both strongly convex problems and a class of nonconvex problems. In addition, large-scale decentralized learning experiments are used to establish that the BRIDGE framework is scalable and it delivers competitive results for Byzantine-resilient convex and nonconvex learning.

研究の動機と目的

• ノードが改ざんや故障によって任意に振る舞う可能性があるビザンチン障害が発生する状況下でも、頑健な分散学習アルゴリズムの欠如に応えること。
• 一部のノードがビザンチン行動を示しても収束を維持できる、スケーラブルな分散最適化フレームワークを開発すること。
• ビザンチン条件下での凸および非凸損失関数に対して、収束速度および統計的性能に関する理論的保証を提供すること。
• ビザンチン耐性を持つ分散学習と分散学習のギャップを埋めること。過去の研究では、スケーラビリティや収束解析に欠ける。

提案手法

• BRIDGEは中央サーバーを必要としない分散型勾配降下フレームワークを採用し、ノード間のピアツーピア通信を可能にする。
• 局所的コンセンサスと勾配の大きさ制約を活用して、悪意ある更新をフィルタリングするロバストな集約ルールを組み込む。
• 収束を保証するために、徐々に小さくなるステップサイズと適応的重み更新を用いる。これにより、ビザンチンノードによる任意の勾配の注入に対しても安定性が確保される。
• 安定性と収束の解析にラプラス関数を用いることが重要な要素であり、局所モデルが最適解から逸脱する偏差を制限する。
• パラメータ化された減衰関数を用いて、汚染された勾配の影響を制限するレジリエンスメカニズムを導入する。
• ビザンチンノイズと確率的勾配分散の両方を考慮した再帰的誤差バウンディングを通じて収束を確立する。

実験結果

リサーチクエスチョン

• RQ1 一部のノードがプロトコルから任意に逸脱する、すなわちビザンチン行動を示す場合、分散学習アルゴリズムは収束を維持できるか？
• RQ2 凸および非凸問題の両方に対して、ビザンチン耐性を持つ分散最適化アルゴリズムの収束速度は何か？
• RQ3 中央コンセンサスや信頼できるサーバーに依存せずに、分散システムにおけるレジリエンスをどのように達成できるか？
• RQ4 ビザンチン障害が発生する状況下で、一般化誤差およびサンプル複雑度に関する理論的保証はどのようなものか？
• RQ5 提案されたフレームワークは、悪意ある条件下でも大規模な機械学習モデルにスケーリング可能か？

主な発見

• BRIDGEは、強凸および一部の非凸問題に対して、O(log t / t)の収束速度を達成し、ビザンチン障害下でも非線形的だが証明可能な収束を示している。
• 最大定数比のノードがビザンチンである場合でも、非故障ノードが最適解に確率1−δ以上で収束することを保証する。
• 理論的解析により、誤差バウンディングが時間とともに単調に減少することが確認され、最もゆっくり減衰する項がO(log t / t)であり、これが全体の収束速度を支配する。
• 実験的評価により、BRIDGEが大規模な分散学習タスクにうまくスケーリングでき、凸および非凸設定の両方で競争力のある性能を発揮することが示された。
• 集約ルールにおける影響の制限メカニズムのおかげで、ビザンチンノードが大きな大きさの悪意ある勾配を注入しても、アルゴリズムはレジリエンスを維持する。
• 単一ノードのビザンチン攻撃に対しても、BRIDGEは耐性を示すことが実証された。これは、標準的な分散学習アルゴリズムが破壊される可能性がある状況である。