[論文レビュー] Shuffled Model of Federated Learning: Privacy, Communication and Accuracy Trade-offs

Antonious M. Girgis, Deepesh Data+3 more|arXiv (Cornell University)|Aug 17, 2020

Privacy-Preserving Technologies in Data参考文献 45被引用数 11

ひとこと要約

本稿では、シャッフルモデルを用いて通信効率が良く、プライバシーを保証するフェデレーテッドラーニングフレームワークを提案する。ℓ_p空間における最適な圧縮平均推定と、クライアント／データのサンプリングおよびセキュアなシャッフルによるプライバシー強化を組み合わせることで、通信コストを著しく低減しつつ、完全精度の手法と同等のプライバシー・精度トレードオフを達成する。

ABSTRACT

We consider a distributed empirical risk minimization (ERM) optimization problem with communication efficiency and privacy requirements, motivated by the federated learning (FL) framework. Unique challenges to the traditional ERM problem in the context of FL include (i) need to provide privacy guarantees on clients' data, (ii) compress the communication between clients and the server, since clients might have low-bandwidth links, (iii) work with a dynamic client population at each round of communication between the server and the clients, as a small fraction of clients are sampled at each round. To address these challenges we develop (optimal) communication-efficient schemes for private mean estimation for several $\ell_p$ spaces, enabling efficient gradient aggregation for each iteration of the optimization solution of the ERM. We also provide lower and upper bounds for mean estimation with privacy and communication constraints for arbitrary $\ell_p$ spaces. To get the overall communication, privacy, and optimization performance operation point, we combine this with privacy amplification opportunities inherent to this setup. Our solution takes advantage of the inherent privacy amplification provided by client sampling and data sampling at each client (through Stochastic Gradient Descent) as well as the recently developed privacy framework using anonymization, which effectively presents to the server responses that are randomly shuffled with respect to the clients. Putting these together, we demonstrate that one can get the same privacy, optimization-performance operating point developed in recent methods that use full-precision communication, but at a much lower communication cost, i.e., effectively getting communication efficiency for "free".

研究の動機と目的

• 低帯域幅のクライアント接続に起因する通信コストを最小限に抑えながら、フェデレーテッドラーニングにおける強力なプライバシー保証を達成する課題に対処すること。
• ローカル微分プライバシー（LDP）の限界を克服し、プライバシーの強化を図るためにシャッフルモデルを活用してプライバシーの拡張を実現すること。
• フェデレーテッドラーニングにおける勾配集約を支援するため、さまざまなℓ_pノルム空間における最適で通信効率の良いプライベート平均推定のためのスキームを設計すること。
• クライアントのサンプリング、SGDによるミニバッチデータのサンプリング、およびセキュアなシャッフルを組み合わせた複数のプライバシー拡張メカニズムを統合し、最適化性能を損なわずにエンドツーエンドのプライバシーを強化すること。
• 完全精度の手法と同等のプライバシー・精度の動作点を達成しつつ、通信コストを桁違いに低減することにより、通信効率を『無料』で得ること。

提案手法

• ℓ_p空間におけるプライベート平均推定のための順序最適な通信効率の良いメカニズムを設計し、フェデレーテッドラーニングにおける勾配集約に適用可能である。
• 微分プライバシーのシャッフルモデルを適用し、クライアントの応答がサーバーに到着する前にランダムにシャッフルされて匿名化されることで、LDPを上回るプライバシー保護を実現する。
• SGDに内在する確率的クライアントのサンプリングおよびミニバッチデータのサンプリングを活用し、有効なプライバシー損失を低減するプライバシー拡張を実現する。
• ノルムの不等式と集中不等式を用いて、プライバシー制約および通信制約下での勾配分散に対するタイトな上界を導出する。
• 圧縮された勾配伝送とプライバシー保護型のシャッフルおよびサンプリングを組み合わせることで、帯域を最小限に抑えつつモデル収束を維持する。
• 異なるℓ_p空間における通信コスト、プライバシー（εによる定式化）、最適化誤差のトレードオフを定量的に評価する統一された分析フレームワークを採用する。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングにおいて、任意のℓ_pノルム空間に対して最適な通信効率の良いプライベート平均推定スキームを設計できるか？
• RQ2 シャッフルとクライアント／データのサンプリングを組み合わせることで、プライバシーの拡張がどのように実現され、勾配集約におけるノイズの必要量が減少するか？
• RQ3 シャッフル型フェデレーテッドラーニングモデルにおける、通信コスト、プライバシー（ε）、最適化誤差の根本的トレードオフは何か？
• RQ4 完全精度の手法と同等のプライバシー・精度性能を達成しつつ、通信コストを桁違いに低減できるか？
• RQ5 任意のℓ_p空間において、通信とプライバシーの両方の制約が重複する状況下でのプライベート平均推定誤差のタイトな下界と上界は何か？

主な発見

• 提案手法は、完全精度の手法と同等のプライバシー・精度の動作点を達成するが、通信コストを著しく低減しており、通信効率を『無料』で得ている。
• ℓ_2ノルムに関してL-Lipschitz関数に対して、[BST14]で確立された中央微分プライバシーの最適な超過リスクバウンドを達成するが、完全に分散型のまま保たれる。
• アルゴリズムの収束速度は、𝒪(LD log(T) max{d^{1/2−1/p}, 1} / √T × √(cd/(qn)) × ((e^{ε₀}+1)/(e^{ε₀}−1))) で抑えられ、プライバシーのノイズがモデルサイズに対して非線形に増加することを示している。
• 任意のℓ_p空間において、通信とプライバシーの両方の制約が重複する状況下でのプライベート平均推定誤差について、タイトな上界と下界を提供する。
• √(cd/(qn)) × ((e^{ε₀}+1)/(e^{ε₀}−1)) がΩ(1)である場合、収束速度はこの項に比例して劣化し、プライバシー予算と通信効率の明確なトレードオフが示されている。
• 分析により、シャッフルとサンプリングの組み合わせが、同じ設定下でLDPよりも顕著に性能向上をもたらすプライバシー拡張を実現し、1/√m のスケーリングでプライバシーの強化が達成されることを確認した。