[論文レビュー] FedSKETCH: Communication-Efficient and Private Federated Learning via Sketching

Farzin Haddadpour, Belhal Karimi+2 more|arXiv (Cornell University)|Aug 11, 2020

Privacy-Preserving Technologies in Data参考文献 57被引用数 11

ひとこと要約

FedSKETCHおよびFedSKETCHGATEは、通信効率が高くプライバシーを保護するフェデレーテッドラーニングアルゴリズムであり、ローカル勾配の圧縮にカウンタースケッチを用いることで、原始勾配を露呈せずに安全で低帯域幅の集約を可能にする。これらの手法は、最大75倍の圧縮において、FedSGDと同等の収束速度を達成し、同種および異種のデータ設定において、先行するスケッチ法および量子化法を上回る性能を発揮する。

ABSTRACT

Communication complexity and privacy are the two key challenges in Federated Learning where the goal is to perform a distributed learning through a large volume of devices. In this work, we introduce FedSKETCH and FedSKETCHGATE algorithms to address both challenges in Federated learning jointly, where these algorithms are intended to be used for homogeneous and heterogeneous data distribution settings respectively. The key idea is to compress the accumulation of local gradients using count sketch, therefore, the server does not have access to the gradients themselves which provides privacy. Furthermore, due to the lower dimension of sketching used, our method exhibits communication-efficiency property as well. We provide, for the aforementioned schemes, sharp convergence guarantees. Finally, we back up our theory with various set of experiments.

研究の動機と目的

• フェデレーテッドラーニングにおける通信コストとデバイスのプライバシーという二重の課題に取り組む。
• 通信効率とプライバシー保護を統合的に確保するフレームワークを構築する。
• i.i.d.および非i.i.d.データ分布の両設定下で、非凸、Polyak-Łojasiewicz、凸の目的関数に対して、理論的収束保証を提供する。
• 高圧縮下でのテスト精度および収束速度において、SketchSGD や FedSGD などの既存の圧縮ベース手法を上回る。
• 同種および異種のデータ設定に適した不偏な勾配推定器（HEAPRIX）を新たに設計する。

提案手法

• サーバーへの送信前に、ローカル勾配を低次元のスケッチに圧縮するためにカウンタースケッチを用いる。
• 原始勾配を露呈せずに正確なモデル更新を可能にする、スケッチに基づく新規な不偏勾配推定器であるHEAPRIXを導入する。
• 同種データ（i.i.d.）向けにFedSKETCH、異種データ（非i.i.d.）向けにFedSKETCHGATEを設計し、スケッチに基づく集約を実現する。
• 元の勾配が再構成不能であることを保証するため、ランダムハッシュ関数を用いたスケッチを適用することでプライバシーを保護する。
• 非漸近的収束解析を用いて、両データ設定下で凸、PL、非凸の目的関数に対する理論的境界を確立する。
• 複数のローカル更新（τ）を統合することで、通信ラウンド数を削減しながらも収束性能を維持する。

実験結果

リサーチクエスチョン

• RQ1 スケッチを用いることで、フェデレーテッドラーニングにおける通信コストの低減とプライバシー保護を同時に達成できるか？
• RQ2 スケッチベースの勾配圧縮は、非i.i.d.（異種）データ設定下での収束にどのように影響するか？
• RQ3 スケッチから不偏な勾配推定器を構築でき、その結果、FedSGDと同等の収束を達成できるか？
• RQ4 スケッチベースのフェデレーテッドラーニングにおいて、圧縮比とモデル精度のトレードオフは何か？
• RQ5 複数のローカル更新は、スケッチとどのように作用し、通信効率を向上させるか？

主な発見

• FedSKETCHおよびFedSKETCHGATEは、最大75倍の圧縮（スケッチサイズ(20,40)）でも、FedSGDと同等のテスト精度を達成する。
• HEAPRIXは、同種および異種の両設定において、FS-PRIVIXおよびSketchSGDを上回り、特に高圧縮下で顕著な優位性を示す。
• スケッチサイズが(50,100)の場合、FedSKETCHはすべての設定でFedSGDと同等のテスト精度を達成し、τ=5のローカル更新でも同様の性能を示す。
• 異種設定下ではSketchSGDの性能が著しく劣るが、FedSKETCHGATEは高圧縮下でも優れた性能を維持する。
• 複数のローカル更新を用いることで、FedSKETCHの収束に必要な通信ラウンド数は顕著に減少し、理論的予測と整合的である。
• 実験結果から、FS-HEAPRIXは、特にスケッチサイズが小さくかつτが大きい場合でも、発散を回避し安定した収束を維持することが示された。