[論文レビュー] CPFed: Communication-Efficient and Privacy-Preserving Federated Learning.

Rui Hu, Yanmin Gong+1 more|arXiv (Cornell University)|Mar 30, 2020

Privacy-Preserving Technologies in Data参考文献 30被引用数 14

ひとこと要約

CPFed は、定期的平均化、ガウスノイズ注入、および同型暗号を用いたセキュアアグリゲーションを組み合わせることで、通信負荷を低減し、プライバシー漏洩を防止する通信効率的でプライバシー保護型のフェデレーテッドラーニングフレームワークです。形式的なプライバシー保証と、凸および非凸モデルにおける理論的収束レートを達成し、高いモデル精度を実現します。

ABSTRACT

Federated learning is a machine learning setting where a set of edge devices iteratively train a model under the orchestration of a central server, while keeping all data locally on edge devices. In each iteration of federated learning, edge devices perform computation with their local data, and the local computation results are then uploaded to the server for model update. During this process, the challenges of privacy leakage and communication overhead arise due to the extensive information exchange between edge devices and the server. In this paper, we develop CPFed, a communication-efficient and privacy-preserving federated learning method, to solve the above challenges. CPFed integrates three key components: (1) periodic averaging where local computation results at edge devices are only periodically averaged at the server; (2) Gaussian mechanism where edge devices randomly perturb their local computation results before sending the results to the server; and (3) secure aggregation where the perturbed local computation results are homomorphically encrypted before being sent to the server. CPFed can address both the communication efficiency and privacy leakage challenges in federated learning while achieving high model accuracy. We provide an end-to-end privacy guarantee of CPFed and analyze its theoretical convergence rates for both convex and non-convex models. Through extensive numerical experiments on real-world datasets, we demonstrate the effectiveness and efficiency of our proposed method.

研究の動機と目的

• エッジデバイスからサーバーへのモデル更新の送信頻度を低減することで、フェデレーテッドラーニングにおける通信オーバーヘッドを軽減する。
• フェデレーテッドラーニングにおけるローカルモデル更新の送信に起因するプライバシー漏洩リスクを軽減する。
• 通信頻度の低減と追加のプライバシー保護にもかかわらず、高いモデル精度を維持する。
• 微分プライバシーとセキュアアグリゲーションを組み合わせることで、エンドツーエンドのプライバシー保証を提供する。
• 提案されたフレームワーク下での凸および非凸最適化問題における収束レートを理論的に分析する。

提案手法

• ローカルモデル更新をエッジデバイスで蓄積し、定期的にサーバーに送信する定期的平均化を実装することで、通信頻度を低減する。
• 微分プライバシーを確保するために、送信前に適切にキャリブレーションされたランダムノイズをローカルモデル更新に追加するガウスメカニズムを適用する。
• 個々の寄与を復号せずに、同型暗号を用いてサーバーで摂動を加えたモデル更新を安全にアグリゲートする。
• 定期的平均化、ノイズ注入、セキュアアグリゲーションの3要素を統合した統一フレームワークを構築し、通信およびプライバシーの課題を同時に解決する。
• 微分プライバシーとセキュアアグリゲーションを組み合わせることで、送信された更新から個々のデータを推定できないエンドツーエンドのプライバシーを保証する。
• 理論的分析により、CPFedのプロトコル下での凸および非凸目的関数における収束レートを確立する。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングにおける通信効率を、モデル精度を損なわずにどのように向上させられるか？
• RQ2 ガウスノイズを用いた微分プライバシーは、フェデレーテッドラーニングにおけるプライバシー漏洩をどの程度軽減できるか？
• RQ3 同型暗号を用いたセキュアアグリゲーションは、個々のデバイスの更新の再構築を防げるか？
• RQ4 提案されたフレームワークの凸および非凸設定下での理論的収束挙動はいかなるものか？
• RQ5 定期的平均化、ノイズ注入、セキュアアグリゲーションの統合は、実世界のデータセットにおける全体的なモデル性能にどのように影響するか？

主な発見

• CPFed は、定期的平均化によりモデル更新の送信頻度を制限することで、通信負荷を顕著に低減する。
• ガウスノイズとセキュアアグリゲーションの統合により、形式的なエンドツーエンドのプライバシー保証が得られ、個々のデータ寄与が保護される。
• 実世界のデータセットにおいても高いモデル精度を維持しており、通信頻度の低減と追加のプライバシー保護にもかかわらず、実用的妥当性が示された。
• 理論的分析により、凸および非凸モデルの両方で収束が確認され、フレームワークの堅牢性が裏付けられた。
• 広範な数値実験により、CPFed が実世界のフェデレーテッドラーニングシナリオにおいて有効かつ効率的であることが検証された。