[論文レビュー] Randomized Reactive Redundancy for Byzantine Fault-Tolerance in Parallelized Learning

Nirupam Gupta, Nitin H. Vaidya|arXiv (Cornell University)|Dec 19, 2019

Stochastic Gradient Optimization Techniques参考文献 21被引用数 5

ひとこと要約

本稿では、並列化された確率的勾配降下法（SGD）におけるビザンチン故障耐性を実現するための確率的反応型冗長性方式を提案する。この方式により、$ f < n/2 $ 個のビザンチンワーカーが存在する場合でも、最小点への正確な収束が保証される。故障検出コードを間歇的かつ適応的に適用し、損失関数と信頼性指標に基づいて故障を検出することで、最適な期待計算効率を達成するとともに、耐障害性と収束性を確保する。

ABSTRACT

This report considers the problem of Byzantine fault-tolerance in synchronous parallelized learning that is founded on the parallelized stochastic gradient descent (parallelized-SGD) algorithm. The system comprises a master, and $n$ workers, where up to $f$ of the workers are Byzantine faulty. Byzantine workers need not follow the master's instructions correctly, and might send malicious incorrect (or faulty) information. The identity of the Byzantine workers remains fixed throughout the learning process, and is unknown a priori to the master. We propose two coding schemes, a deterministic scheme and a randomized scheme, for guaranteeing exact fault-tolerance if $2f &lt; n$. The coding schemes use the concept of reactive redundancy for isolating Byzantine workers that eventually send faulty information. We note that the computation efficiencies of the schemes compare favorably with other (deterministic or randomized) coding schemes, for exact fault-tolerance.

研究の動機と目的

• 並列化されたSGDが、悪意ある勾配を送信する可能性のあるビザンチンワーカーに対して脆弱であるという問題に対処すること。
• 最大 $ f < n/2 $ 個のワーカーがビザンチンである場合でも、最小点への正確な収束を保証する故障耐性学習フレームワークを設計すること。
• 分散学習環境における既存の符号化ベースの故障耐性方式よりも、計算効率を向上させること。
• 故障検出コストと学習収束速度のトレードオフを、適応的かつ確率的なチェックにより最適化すること。

提案手法

• 故障検出とビザンチンワーカーの特定を線形結合によって行う勾配記号の冗長性を利用した決定的符号化方式を導入する。
• 故障検出コードをランダムに選択された反復回ごとに適用する確率的方式を提案し、計算オーバーヘッドを低減する。
• 観測された損失 $ \ell_t $、推定された信頼性 $ \kappa_t $、およびビザンチン確率 $ p $ をもとに、適応的故障チェック確率 $ q_t^* $ を設定し、効率性と故障検出のバランスを取る。
• 確率的モデルを用いて最適な故障チェック頻度を計算し、期待計算コストを最小化しながら収束性を維持する。
• より広範な分散学習への適用を可能とするために、勾配フィルタリングおよび通信効率の高い圧縮技術と統合する。
• 信頼性スコアを用いた選択的検証により、分散データ設定への一般化を可能にし、勾配およびデータポイントの検証を制御可能にする。

実験結果

リサーチクエスチョン

• RQ1 確率的で反応型の冗長性メカニズムは、決定的方式よりも高い計算効率を達成しつつ、並列化されたSGDにおける正確なビザンチン故障耐性を実現できるか？
• RQ2 故障チェック頻度を損失関数と信頼性指標に基づいて適応的に最適化することで、検出精度と計算コストのバランスをどのように取れるか？
• RQ3 ビザンチンワーカーが存在する状況下で、故障検出のオーバーヘッドと収束速度の最適なトレードオフは何か？
• RQ4 本方式は、圧縮勾配および分散データ分割に対しても一般化可能か？
• RQ5 計算効率および耐障害性の観点から、本方式の性能は決定的符号化方式および既存の勾配フィルタリング手法と比べてどのように異なるか？

主な発見

• 確率的符号化方式は、決定的方式や既存の故障訂正符号を上回る最適な期待計算効率を達成する。
• $ 2f < n $ の条件下で、正確な故障耐性を保証し、ビザンチン動作が存在する場合でも最小点への収束を保証する。
• 損失関数と信頼性指標に基づく適応的故障チェックにより、不要なチェックを削減し、収束性に影響を与えることなく効率性を向上させる。
• マスタが故障したワーカーからの近似損失値を用いる場合でも、トリムド平均やトレuncated平均推定により耐障害性を維持する。
• 勾配フィルタリングおよび通信効率の高い圧縮技術と統合することで、実世界の分散学習システムへの広範な展開が可能になる。
• 分散データフレームワークへの一般化は実現可能であり、マスタは信頼性スコアと確率的チェックを用いて、データポイントを選択的に検証可能である。