[論文レビュー] Mime: Mimicking Centralized Stochastic Algorithms in Federated Learning

Sai Praneeth Karimireddy, Martin Jaggi+5 more|arXiv (Cornell University)|Aug 8, 2020

Privacy-Preserving Technologies in Data参考文献 68被引用数 94

ひとこと要約

Mime は、中央集権型最適化アルゴリズムをクロスデバイス連合学習に適用する一般的なフレームワークを提供し、クライアントドリフトを低減し、ローカル更新を用いた漸近的な速度アップを可能にする。モーメンタムに基づく分散削減を含む。

ABSTRACT

Federated learning (FL) is a challenging setting for optimization due to the heterogeneity of the data across different clients which gives rise to the client drift phenomenon. In fact, obtaining an algorithm for FL which is uniformly better than simple centralized training has been a major open problem thus far. In this work, we propose a general algorithmic framework, Mime, which i) mitigates client drift and ii) adapts arbitrary centralized optimization algorithms such as momentum and Adam to the cross-device federated learning setting. Mime uses a combination of control-variates and server-level statistics (e.g. momentum) at every client-update step to ensure that each local update mimics that of the centralized method run on iid data. We prove a reduction result showing that Mime can translate the convergence of a generic algorithm in the centralized setting into convergence in the federated setting. Further, we show that when combined with momentum based variance reduction, Mime is provably faster than any centralized method--the first such result. We also perform a thorough experimental exploration of Mime's performance on real world datasets.

研究の動機と目的

• クロスデバイス連合学習におけるクライアントドリフトを緩和する。
• 任意の中央集権型最適化アルゴリズム（例: モーメンタム、Adam）をFLへ適用可能にする。
• Mime が中央基準と比較して収束を保持または改善することを保証する収束保証を提供する。
• Mime を用いたモーメンタムベースの分散削減がサーバーのみの方法よりも速い収束をもたらすことを示す。
• 実データセットを用いた実証実験で Mime およびより軽量なバリアント MimeLite を検証する。

提案手法

• サーバー側の最適化器状態と SVRG 風の補正を用いて各ローカルクライアントの更新を同一分布 i.i.d. のデータ上の対応する中央集権的更新に模倣させるフレームワークとして Mime を導入する。
• 基本的な中央集権型オプティマイザを、更新関数 U(g, s) と最適化状態更新 V(g, s) の一対として表現する。
• サーバーパラメータでの全勾配を用いてサーバー側でグローバル最適化状態を計算し、ローカルクライアントの更新中はこの状態を固定しておく。
• ローカル更新中、ドリフトを減らすためにバイアスのかかった勾配や補正勾配に対して基礎オプティマイザの更新 U を適用し、SVRG に似た補正（Mime）または単純なローカルミニバッチ勾配（MimeLite）を用いる。
• 汎用的な収束還元を提供：基盤オプティマイザが頑健に収束する場合、Mime はローカルステップとともに収束を継承する。およびHessian不一致度下でサーバーのみの下限を上回るモーメンタムベースの分散削減（MVR）を分析する。

実験結果

リサーチクエスチョン

• RQ1 任意の中央集権型最適化アルゴリズムを、クライアントドリフトを誘発することなくクロスデバイスFL設定へ忠実に転送できるか。
• RQ2 Mime および MimeLite が中央集権型手法やサーバーのみFLのベースラインと比較して収束を保持または改善する条件は何か。
• RQ3 Mime にモーメンタムベースの分散削減（MVR）を組み込むと、連合学習においてサーバーのみの方法より漸近的な速度向上をもたらすか。
• RQ4 非均一性指標（G^2, δ）が Mime/MimeLite の収束速度や潜在的な加速にどのように影響するか。
• RQ5 実データの連合データセットにおける Mime および MimeLite の実証的性能を FedAvg および他の FL ベースラインと比較した場合はどうか。

主な発見

• Mime はクライアントドリフトを低減し、一般的な中央集権型アルゴリズムの収束を連合設定へ移行させる。
• Hessian 不一致度 δ が滑らかさ L に比べて小さい場合、MVR を備えた Mime はサーバーのみの方法の下限を打ち破ることができる。
• Mime および MimeLite は実世界データセットの実証実験で FedAvg よりも速く収束する。
• 各クライアントの更新でローカルにモーメンタムを適用すると、サーバー側モーメンタムのみよりも強い性能向上を得られる。
• MimeLite は実践上 Mime にほぼ匹敵し、より単純な補正で類似の加速効果を得られる。
• 理論的結果には還元定理と、クロスデバイスFLにおいて Mime が漸近的に収束を加速する条件が含まれる。