[論文レビュー] SoteriaFL: A Unified Framework for Private Federated Learning with Communication Compression

Zhize Li, Haoyu Zhao+2 more|arXiv (Cornell University)|Jun 20, 2022

Privacy-Preserving Technologies in Data被引用数 10

ひとこと要約

SoteriaFL は、通信圧縮とローカル微分プライバシー（LDP）を統合することで、プライバシーを損なわず通信コストを削減できる統合型フレームワークを提案する。一般化された勾配推定器（例：SVRG や SAGA）を用い、圧縮された更新とプライバシー保護ノイズを組み合わせることで、最適なトレードオフを達成し、$(\epsilon,\delta)$-LDP の保証のもとで通信複雑性と収束性の両方が向上することを示している。

ABSTRACT

To enable large-scale machine learning in bandwidth-hungry environments such as wireless networks, significant progress has been made recently in designing communication-efficient federated learning algorithms with the aid of communication compression. On the other end, privacy-preserving, especially at the client level, is another important desideratum that has not been addressed simultaneously in the presence of advanced communication compression techniques yet. In this paper, we propose a unified framework that enhances the communication efficiency of private federated learning with communication compression. Exploiting both general compression operators and local differential privacy, we first examine a simple algorithm that applies compression directly to differentially-private stochastic gradient descent, and identify its limitations. We then propose a unified framework SoteriaFL for private federated learning, which accommodates a general family of local gradient estimators including popular stochastic variance-reduced gradient methods and the state-of-the-art shifted compression scheme. We provide a comprehensive characterization of its performance trade-offs in terms of privacy, utility, and communication complexity, where SoteraFL is shown to achieve better communication complexity without sacrificing privacy nor utility than other private federated learning algorithms without communication compression.

研究の動機と目的

• フェデレーテッドラーニングにおいて、通信効率とクライアント側のプライバシーを同時に満たす統合型フレームワークの欠如に取り組む。
• 微分プライベート SGD に圧縮を単純に適用する方法の限界を克服する。この方法は、モデルの有用性と収束性を低下させる。
• さまざまな勾配推定器（例：分散低減手法である SVRG や SAGA を含む）と互換性を持つ汎用フレームワークを設計する。
• 圧縮が存在する状況における、プライバシー、有用性、通信複雑性のトレードオフを理論的に特定する。
• 通信圧縮をプライベート FL に活用できることを示し、プライバシーまたはモデル性能を損なわないこと。

提案手法

• ローカル微分プライバシー（LDP）と一般化された通信圧縮演算子のクラスを統合した統合型フレームワーク、SoteriaFL を導入する。
• 勾配更新における分散を低減しながらプライバシーを保持するため、シフトベースの圧縮方式を採用する。
• 勾配推定器の理論的分析に基づいて導出された、収束性とプライバシーの両立を図る新たなステップサイズ選択ルールを用いる。
• $(\epsilon,\delta)$-LDP を保証するため、ノイズ注入を実施し、分散を $\sigma_p^2 = O\left(\frac{G^2 T \log(1/\delta)}{m^2 \epsilon^2}\right)$ とする。
• SVRG や SAGA などの複数の勾配推定器を、統一された最適化フレームワーク内でその分散とバイアス項をモデル化することでサポートする。
• 期待勾配ノルムの観点から収束バウンドを導出し、収束レートが $O\left(\frac{G\sqrt{(1+\omega)Ld\log(1/\delta)}}{\sqrt{n}m\epsilon}\right)$ であることを示す。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングにおいて、通信圧縮をローカル微分プライバシーと効果的に組み合わせ、モデルの有用性を損なわずに行えるか？
• RQ2 圧縮と LDP の統合は、プライベート FL の収束速度と通信複雑性にどのように影響するか？
• RQ3 統合型フレームワークにおいて、プライバシー、有用性、通信コストの最適なトレードオフは何か？
• RQ4 同一のフレームワークが、圧縮と LDP の下で、複数の勾配推定器（例：SVRG や SAGA）をサポートできるか？
• RQ5 このような統合的設定において、収束性とプライバシーの理論的保証はどのように得られるか？

主な発見

• SoteriaFL は、$(\epsilon,\delta)$-LDP の下で通信効率が向上する収束レート $O\left(\frac{G\sqrt{(1+\omega)Ld\log(1/\delta)}}{\sqrt{n}m\epsilon}\right)$ を達成する。
• フレームワークは、圧縮下でも、SVRG および SAGA 推定器の両方を、証明可能な収束性とプライバシー保証とともにサポートする。
• 圧縮により通信コストが $1+\omega$ 倍低減され、$\omega$ は圧縮比を制御する。
• プライバシーを損なわず、有用性を維持する。これは、プライバシー分散が有界である $\sigma_p^2 = O\left(\frac{G^2 T \log(1/\delta)}{m^2 \epsilon^2}\right)$ によって裏付けられる。
• 理論的分析により、SoteriaFL は非圧縮のプライベート FL 手法よりも優れた通信複雑性を達成することが示された。
• ステップサイズおよびシフトパラメータの選択により、収束性とプライバシーのバランスが図られ、実験的利得が裏付けられた。