[論文レビュー] Variance Reduction is an Antidote to Byzantines: Better Rates, Weaker Assumptions and Communication Compression as a Cherry on the Top

Eduard Gorbunov, Samuel Horváth+2 more|arXiv (Cornell University)|Jun 1, 2022

Stochastic Gradient Optimization Techniques被引用数 5

ひとこと要約

本稿では、分散最適化におけるバーステイン耐性を高めるために、分散化と通信圧縮を統合した新規なバーステイン耐性最適化手法 Byz-VR-MARINA を提案する。本手法は、弱い仮定のもとでよりタイトな収束レートを達成する。また、分散化がバーステイン攻撃の効果的検出と緩和に不可欠であることを示し、通信圧縮により収束速度を損なわずに通信量を大幅に削減できることを示す。本手法は、非凸およびPolyak-Łojasiewicz設定において、先行研究の最先端手法を上回る性能を発揮する。

ABSTRACT

Byzantine-robustness has been gaining a lot of attention due to the growth of the interest in collaborative and federated learning. However, many fruitful directions, such as the usage of variance reduction for achieving robustness and communication compression for reducing communication costs, remain weakly explored in the field. This work addresses this gap and proposes Byz-VR-MARINA - a new Byzantine-tolerant method with variance reduction and compression. A key message of our paper is that variance reduction is key to fighting Byzantine workers more effectively. At the same time, communication compression is a bonus that makes the process more communication efficient. We derive theoretical convergence guarantees for Byz-VR-MARINA outperforming previous state-of-the-art for general non-convex and Polyak-Lojasiewicz loss functions. Unlike the concurrent Byzantine-robust methods with variance reduction and/or compression, our complexity results are tight and do not rely on restrictive assumptions such as boundedness of the gradients or limited compression. Moreover, we provide the first analysis of a Byzantine-tolerant method supporting non-uniform sampling of stochastic gradients. Numerical experiments corroborate our theoretical findings.

研究の動機と目的

• 分散最適化におけるバーステイン耐性のギャップを埋めるために、分散化と通信圧縮を統合したフレームワークを提示すること。
• 従来の手法よりも弱い仮定のもとで、非凸およびPolyak-Łojasiewicz目的関数に対して、よりタイトな理論的収束保証を達成すること。
• 確率的勾配の非一様サンプリングをサポートすることで、より柔軟で現実的な学習シナリオを可能にすること。
• 分散化がバーステイン耐性の鍵となる要因であることを示し、単なる性能向上要因ではないことの証明。
• 通信圧縮を分散化されたバーステイン耐性手法と効果的に組み合わせられることを示し、収束レートの低下を招かないこと。これにより、大規模なフェデレーテッドラーニングにおける効率的な通信が可能になる。

提案手法

• 分散化（MARINA型更新を用いて）と幾何学的中央値を用いた集約手法を組み合わせた新規な分散最適化手法 Byz-VR-MARINA を提案。これにより、バーステイン型ワーカーに対して耐性を持つ。
• 非一様な確率的勾配のサンプリングを可能にする新しい分析フレームワークを導入。これにより、分散学習における柔軟性と現実性が向上する。
• 一般の圧縮演算子 Q を用いた通信圧縮を採用。誤差の境界はパラメータ ω と ζ で特徴づけられ、収束保証に影響を与えずにビット削減が可能となる。
• より弱い仮定のもとで収束レートを導出：勾配の有界性や圧縮制限の制約が不要であり、勾配ノルムの境界も必要としない。
• 分散化とバーステインノイズの影響を分離する新しい分析技術を用い、全体の収束レートに対してよりタイトな境界を導出可能となる。
• バーステイン環境に適応した SAGA 型分散化メカニズムの修正版を適用。これにより、悪意ある影響下でも安定した収束が保証される。

実験結果

リサーチクエスチョン

• RQ1 分散最適化におけるバーステイン耐性を向上させるために、分散化をコアなメカニズムとして活用できるか？
• RQ2 分散化されたバーステイン耐性手法と通信圧縮を組み合わせても、収束レートが低下しないか？
• RQ3 既存の最先端手法は、勾配の有界性や圧縮制限といった制限的な仮定により、収束保証が緩いのでは？
• RQ4 バーステインワーカーが存在する状況でも、非凸およびPolyak-Łojasiewicz目的関数に対してタイトな収束レートを達成できるか？
• RQ5 確率的勾配の非一様サンプリングは、バーステイン耐性最適化アルゴリズムの収束性と耐性にどのように影響するか？

主な発見

• Byz-VR-MARINA の通信複雑度は O((L + √A)Δ₀/ε²) であり、A は問題パラメータと圧縮に依存する。この境界は、一般の非凸およびPolyak-Łojasiewicz条件下でタイトである。
• バーステインワーカーが存在しない状況でも、よりタイトな分析と改善された分散制御のおかげで、先行研究の最先端手法よりも優れた収束レートを達成する。
• RandKスパarsification と圧縮比 1+ω = d/K を用いる場合、通信コストは O(d/ζ_Q) の要因で削減されるが、通信ラウンド数はたった O(√(1+ω)) 増加する。これにより、非常に通信効率が高くなる。
• 1+ω ≤ m の場合、非圧縮バージョンと比較して √(1+ω) 倍のラウンド数増加で済み、近似的に最適な収束速度を維持できる。これにより、強力な圧縮（例：送信データ量の 0.1%）が可能であり、性能低下は最小限に抑えられる。
• m > 1/(c²δ²) の場合、b が大きくなると分散化効果がさらに高まり、バーステインシフトの影響が弱まる。このため、b を √m より大きくとることで、より良い性能が得られる。
• 本分析は、バーステイン耐性設定において非一様な確率的勾配のサンプリングを初めてサポートした。これにより、非均質なデータ環境への適用範囲が広がる。