[論文レビュー] D2P-Fed: Differentially Private Federated Learning With Efficient Communication

Lun Wang, Ruoxi Jia+1 more|arXiv (Cornell University)|Jun 22, 2020

Privacy-Preserving Technologies in Data参考文献 19被引用数 20

ひとこと要約

D2P-FEDは、離散ガウスノイズ注入、セキュアアグリゲーション、確率的量子化、ランダム回転を組み合わせた画期的なフェデレーテッドラーニングフレームワークを提案する。これにより、強力な微分プライバシーと通信コストの低減を両立する。cpSGDと比較して、プライバシー組み合わせのタイトさを向上させ、同等のプライバシー予算下で4.7%から13.0%の高いモデル精度を達成するとともに、通信コストを3分の1に削減する。

ABSTRACT

In this paper, we propose the discrete Gaussian based differentially private federated learning (D2P-Fed), a unified scheme to achieve both differential privacy (DP) and communication efficiency in federated learning (FL). In particular, compared with the only prior work taking care of both aspects, D2P-Fed provides stronger privacy guarantee, better composability and smaller communication cost. The key idea is to apply the discrete Gaussian noise to the private data transmission. We provide complete analysis of the privacy guarantee, communication cost and convergence rate of D2P-Fed. We evaluated D2P-Fed on INFIMNIST and CIFAR10. The results show that D2P-Fed outperforms the-state-of-the-art by 4.7% to 13.0% in terms of model accuracy while saving one third of the communication cost.

研究の動機と目的

• フェデレーテッドラーニングにおける微分プライバシーと高い通信コストという二重の課題に取り組む。
• 強力なプライバシー保証と通信オーバーヘッドの最小化を同時に達成する統合フレームワークを開発する。
• 離散ガウスメカニズムの活用により、cpSGDを改善し、よりタイトなプライバシー組み合わせとノイズスケールの低減を実現する。
• 動的クライアント参加を伴う現実世界の環境でのプライバシー保護型FLの実用的導入を可能にする。

提案手法

• クライアントの更新に離散ガウスメカニズムを適用し、Rényi微分プライバシー（RDP）を確保する。
• 個々の更新を保護しノイズの大きさを低減するためにセキュアアグリゲーションを採用する。
• モデル更新の通信を圧縮および安定化するために、確率的量子化とランダム回転を統合する。
• フェデレーテッドラーニングプロセスを分散平均推定問題として扱い、ユーティリティと収束性を形式的に分析する。
• RDPの組み合わせバウンドを用いて、二項分布ノイズを用いた近似DPと比較してよりタイトなプライバシー予算を導出する。
• RDPバウンドを(ε, δ)-DPに変換し、先行研究と直接比較可能にする。

実験結果

リサーチクエスチョン

• RQ1 既存手法と比較して、離散ガウスベースのメカニズムは、フェデレーテッドラーニングにおいてよりタイトなプライバシー組み合わせと低い通信コストを達成できるか？
• RQ2 量子化とランダム回転の統合は、微分プライバシー下でモデル精度と通信効率にどのように影響を与えるか？
• RQ3 動的クライアント環境下で、セキュアアグリゲーションと組み合わせたD2P-FEDは、強力なプライバシー保証を維持できるか？
• RQ4 同一のプライバシー予算下で、D2P-FEDはcpSGDと比較してモデル精度と通信コストの点で優れているか？
• RQ5 ノイズスケールと量子化レベルの変化は、学習済みモデルの収束性とユーティリティにどのような影響を与えるか？

主な発見

• 同じプライバシー予算下で、INFIMNISTではcpSGDより4.7%高いモデル精度を達成し、CIFAR10では13.0%高い。
• cpSGDと比較して、通信コストを3分の1に削減しながら、モデル精度を維持または向上させる。
• 離散ガウスメカニズムにより、よりタイトなプライバシー組み合わせが可能となり、プライバシー予算がO(γ√Tǫ)のスケーリングを示す。cpSGDと比較して、√log(1/δ)の要因を節約する。
• よりタイトな組み合わせの恩恵により、同じプライバシー予算下でD2P-FEDはcpSGDよりもO(√log(1/δ))-倍速く収束する。
• 50%の圧縮率では、cpSGDが25%圧縮で達成する精度を上回り、cpSGDが50%圧縮で失敗するか、許容可能なプライバシー予算を超える。
• 実証的評価により、非均質なデータ分布下でも本手法は有効であることが示された。