[論文レビュー] Stochastic-Sign SGD for Federated Learning with Theoretical Guarantees

Richeng Jin, Yufan Huang+3 more|arXiv (Cornell University)|Feb 25, 2020

Privacy-Preserving Technologies in Data参考文献 44被引用数 43

ひとこと要約

データのヘテロジニアス性の下で収束を達成するための2つの圧縮器（sto-signと dp-sign）を備えたStochastic-Sign SGDを提案し、連合学習におけるByzantine耐性と差分プライバシーを実現。エラーフィードバック変種とMNIST/CIFAR-10での実験を含む。

ABSTRACT

Federated learning (FL) has emerged as a prominent distributed learning paradigm. FL entails some pressing needs for developing novel parameter estimation approaches with theoretical guarantees of convergence, which are also communication efficient, differentially private and Byzantine resilient in the heterogeneous data distribution settings. Quantization-based SGD solvers have been widely adopted in FL and the recently proposed SIGNSGD with majority vote shows a promising direction. However, no existing methods enjoy all the aforementioned properties. In this paper, we propose an intuitively-simple yet theoretically-sound method based on SIGNSGD to bridge the gap. We present Stochastic-Sign SGD which utilizes novel stochastic-sign based gradient compressors enabling the aforementioned properties in a unified framework. We also present an error-feedback variant of the proposed Stochastic-Sign SGD which further improves the learning performance in FL. We test the proposed method with extensive experiments using deep neural networks on the MNIST dataset and the CIFAR-10 dataset. The experimental results corroborate the effectiveness of the proposed method.

研究の動機と目的

• 連合学習の課題を動機づける: 通信効率性、データのヘテロジニティ、プライバシー、そしてByzantine障害。
• 異なるデータ分布下での収束を保証するために、確率的サインに基づく勾配圧縮器を導入する。
• 差分プライバシーを満たす圧縮器によるプライバシー保証を提供し、エラーフィードバックを用いた収束を分析する。
• Byzantine耐性を定量化し、評判ベースの重み付けと頑健性の強化を検討する。
• ニューラルネットワークを用いたMNISTおよびCIFAR-10での実験によりアプローチを検証する。

提案手法

• sto-signを、量子化された勾配結果の符号を伝える2レベルの確率的量子化として定義する。
• dp-signを、(epsilon, delta)-DPを達成するsto-signの差分プライバシー版として定義する。
• 異なるデータ分布下での収束解析を伴うDP-SIGN SGDとSto-SIGN SGDを提案する。
• 多数決によって生じる誤差を補償するためのエラーフィードバック機構を組み込み、バリアントの収束性を証明する。
• Byzantine耐性の境界を確立し、評判ベースの重み付けと頑健性の強化を検討する。
• 攻撃者に対する頑健性に対応するようフレームワークを拡張し、データ分布のヘテロ性に対する性能を分析する。

実験結果

リサーチクエスチョン

• RQ1 データがワーカ間で異質に分布している場合、符号ベースの勾配法はどのように収束することができるのか？
• RQ2 収束を保証し、通信効率を維持するための確率的勾配圧縮方式は何か？
• RQ3 性能を損なうことなく符号ベースの勾配圧縮に差分プライバシーを統合するにはどうすればよいか？
• RQ4 Stochastic-Sign SGDのByzantine耐性レベルはどの程度で、どう強化できるか？

主な発見

• Sto-SIGN SGDは異質データの下で局所最適解の近傍に収束し、誤差はワーカー数Mの増加に伴い縮小する。
• 平均的な間違符号確率は確率的圧縮器を用いて境界付けられ、SIGN SGDが失敗するところで収束を可能にする。
• DP-SIGN SGDは通信効率と精度を維持しつつ差分プライバシーの保証を提供する。
• エラーフィードバック付きStochastic-Sign SGDは、証明された収束性とともに学習性能をさらに改善する。
• 本論文はデータのヘテロ性に依存するByzantine耐性の境界を導出し、頑健性を改善するための加重投票案を提案する。
• MNISTおよびCIFAR-10上の深層ネットでの実験結果は、通信制約下での有効性と頑健性を検証する。