[論文レビュー] A(DP)$^2$SGD: Asynchronous Decentralized Parallel Stochastic Gradient Descent with Differential Privacy

Jie Xu, Wei Zhang+1 more|arXiv (Cornell University)|Aug 21, 2020

Privacy-Preserving Technologies in Data参考文献 38被引用数 8

ひとこと要約

本稿では、中央サーバーが存在しない分散型ディープラーニングにおけるプライバシーを強化する、非同期分散確率的勾配降下法（A(DP)²SGD）を提案する。Rényi微分プライバシー（RDP）を合成ガウス機構に適用することで、最適な O(1/√T) 収束を達成し、同期型プライベートSGDと同等の精度を実現するとともに、非均質環境における学習速度を著しく向上させる。

ABSTRACT

As deep learning models are usually massive and complex, distributed learning is essential for increasing training efficiency. Moreover, in many real-world application scenarios like healthcare, distributed learning can also keep the data local and protect privacy. A popular distributed learning strategy is federated learning, where there is a central server storing the global model and a set of local computing nodes updating the model parameters with their corresponding data. The updated model parameters will be processed and transmitted to the central server, which leads to heavy communication costs. Recently, asynchronous decentralized distributed learning has been proposed and demonstrated to be a more efficient and practical strategy where there is no central server, so that each computing node only communicates with its neighbors. Although no raw data will be transmitted across different local nodes, there is still a risk of information leak during the communication process for malicious participants to make attacks. In this paper, we present a differentially private version of asynchronous decentralized parallel SGD (ADPSGD) framework, or A(DP)$^2$SGD for short, which maintains communication efficiency of ADPSGD and prevents the inference from malicious participants. Specifically, R{é}nyi differential privacy is used to provide tighter privacy analysis for our composite Gaussian mechanisms while the convergence rate is consistent with the non-private version. Theoretical analysis shows A(DP)$^2$SGD also converges at the optimal $\mathcal{O}(1/\sqrt{T})$ rate as SGD. Empirically, A(DP)$^2$SGD achieves comparable model accuracy as the differentially private version of Synchronous SGD (SSGD) but runs much faster than SSGD in heterogeneous computing environments.

研究の動機と目的

• 中央サーバーが存在しない非同期分散型学習におけるプライバシー漏洩リスクを解決すること。
• 分散型で非均質な計算環境において、通信効率とスケーラビリティを維持すること。
• 微分プライバシーを用いて強力なプライバシー保証を提供しつつ、収束速度やモデル精度を損なわないこと。
• 医療分野を含む実世界の応用におけるプライベート分散学習の実用的導入を可能にすること。

提案手法

• 分散型学習におけるプライバシー保護を目的とした、非同期分散SGD（ADPSGD）の微分プライベート版であるA(DP)²SGDを提案する。
• 標準的な(ε,δ)-DPよりもタイトなプライバシー解析を実現するため、合成ガウス機構にRényi微分プライバシー（RDP）を適用する。
• G-リプシッツ勾配とバッチサイズに基づく感度バウンドを用いて、適切にスケーリングされたガウスノイズを勾配に注入する。
• T反復にわたるRDPメカニズムの逐次的合成を用いて、エンドツーエンドのプライバシー予算（ε,δ）を導出する。
• ノイズ分散の低減とプライバシー・ユーティリティのトレードオフの改善を目的として、非復元抽出を用いる。
• RDPから(ε,δ)-DPへの変換によりプライバシーパラメータを導出し、非均質なデータ分布下でも形式的なプライバシー保証を確保する。

実験結果

リサーチクエスチョン

• RQ1 微分プライバシーを非同期分散型SGDに効果的に統合できるか。その際、収束性や通信効率が低下しないか。
• RQ2 分散型で非均質な環境下で、Rényi微分プライバシーが標準的な(ε,δ)-DPに比べてプライバシー解析をどのように改善できるか。
• RQ3 非同期更新のもとで、提案された微分プライベート分散型SGDの収束速度はいかほどか。
• RQ4 実際の応用において、A(DP)²SGDのモデル精度は微分プライベート同期型SGD（SSGD）と比べてどの程度か。
• RQ5 非均質な計算環境下で、SSGDよりも高速に学習を実行できるか。その際、同等のプライバシーや精度を維持できるか。

主な発見

• A(DP)²SGDは、微分プライバシーが適用されても、非プライベートSGDと同等の最適な O(1/√T) 収束率を達成する。
• RDPの合成と変換により導出されたプライバシー予算εに基づく(ε,δ)-微分プライバシーを提供し、形式的なプライバシー保証を実現する。
• 実験結果から、CIFAR-10およびSWB300データセットにおいて、A(DP)²SGDは微分プライベート同期型SGDと同等のモデル精度を達成する。
• 非同期処理により同期のボトル neck が発生しないため、非均質環境下でSSGDよりも著しく高速に実行される。
• Rényi微分プライバシーの使用により、よりタイトなプライバシー解析が可能となり、ノイズ分散が低減され、ユーティリティとプライバシーのトレードオフが改善される。
• 非均質なデータ分布や異なるワーカー参加状況下でも、安定した性能を示すなど、フレームワークは高い耐障害性を示す。