[論文レビュー] LDP-FL: Practical Private Aggregation in Federated Learning with Local Differential Privacy

Lichao Sun, Jianwei Qian+1 more|arXiv (Cornell University)|Jul 31, 2020

Privacy-Preserving Technologies in Data参考文献 29被引用数 32

ひとこと要約

この論文は LDP-FL を導入する。局所的差分プライバシーを用いた連合学習スキームで、モデル更新の摺動、分割、シャッフルを利用して高いプライバシーを実現しつつ、MNIST、Fashion-MNIST、CIFAR-10 での精度低下を低く抑える。

ABSTRACT

Train machine learning models on sensitive user data has raised increasing privacy concerns in many areas. Federated learning is a popular approach for privacy protection that collects the local gradient information instead of real data. One way to achieve a strict privacy guarantee is to apply local differential privacy into federated learning. However, previous works do not give a practical solution due to three issues. First, the noisy data is close to its original value with high probability, increasing the risk of information exposure. Second, a large variance is introduced to the estimated average, causing poor accuracy. Last, the privacy budget explodes due to the high dimensionality of weights in deep learning models. In this paper, we proposed a novel design of local differential privacy mechanism for federated learning to address the abovementioned issues. It is capable of making the data more distinct from its original value and introducing lower variance. Moreover, the proposed mechanism bypasses the curse of dimensionality by splitting and shuffling model updates. A series of empirical evaluations on three commonly used datasets, MNIST, Fashion-MNIST and CIFAR-10, demonstrate that our solution can not only achieve superior deep learning performance but also provide a strong privacy guarantee at the same time.

研究の動機と目的

• Sensitiveなデータ上でディープラーニングを展開する際のプライバシー懸念を動機づける。
• 連合学習に適した実用的な LDP メカニズムを提供する。
• 深層モデルにおける次元の呪いを回避しつつ、情報露出と分散を低減する。
• 標準データセット（MNIST、Fashion-MNIST、CIFAR-10）で強いプライバシー-実用性のトレードオフを実証する。

提案手法

• 各ウェイトを制限範囲で摂動させる新しい局所差分プライバシー機構を提案する。
• クライアント更新のリンクを断ち、プライバシー予算の増加を抑制する split-and-shuffle メカニズムを導入する。
• 各レイヤーの最小値-最大値を encrypted に交換して摂動範囲を設定する適応的範囲設定を適用する。
• 二点出力を持つ各ウェイト摂動を用いて ε-LDP と平均値のゼロ平均バイアスを保証する。
• クラウド上で摂動・分割・シャッフルされたウェイトを集約してグローバルモデルを更新する。
• MNIST、Fashion-MNIST、CIFAR-10 におけるさまざまな ε 値とクライアント数でプライバシー-実用性のトレードオフを評価する。

実験結果

リサーチクエスチョン

• RQ1 LDP-FL は prohibitive な精度低下を伴うことなく、連合学習において意味のあるプライバシー保証を提供できるのか。
• RQ2 ウェイトごとの摂動は集約モデルのバイアスと分散にどのような影響を与えるのか。
• RQ3 更新の分割とシャッフルは LDP の下での高次元性問題を緩和するのか。
• RQ4 標準的なベンチマークで競争力のある精度を維持する実践的な ε 値は何か。

主な発見

• LDP-FL は ε = 1 で MNIST において 0.97% の精度低下を達成。
• LDP-FL は ε = 4 で Fashion-MNIST において 1.32% の精度低下を達成。
• LDP-FL は ε = 10 で CIFAR-10 において 1.09% の精度低下を達成。
• 本手法は prior な LDP アプローチと比較して競争力のある精度を示しつつ、通信ラウンド数を抑制（例: MNIST で 10 回）できる。
• 理論的結果として、平均ウェイトを推定する際のバイアスがゼロであり、クライアント数が増えるほど改善する分散の境界が示される。