[論文レビュー] Federated Learning with Differential Privacy

Adrien Banse, Jan Kreischer+1 more|arXiv (Cornell University)|Feb 3, 2024

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

本稿は、MNIST、FEMNIST、および実世界の医療データセットにおいて、微分プライバシー（DP）を用いたフェデレーテッドラーニングを評価しており、DPによるノイズ注入と勾配クリッピングのため、特に非i.i.d.データまたは小規模なデータセットでは、プライバシー保証は維持されているもののモデルの精度が著しく低下することを示している。

ABSTRACT

Federated learning (FL), as a type of distributed machine learning, is capable of significantly preserving client's private data from being shared among different parties. Nevertheless, private information can still be divulged by analyzing uploaded parameter weights from clients. In this report, we showcase our empirical benchmark of the effect of the number of clients and the addition of differential privacy (DP) mechanisms on the performance of the model on different types of data. Our results show that non-i.i.d and small datasets have the highest decrease in performance in a distributed and differentially private setting.

研究の動機と目的

• フェデレーテッドラーニングにおけるデータ分布（i.i.d. 対非i.i.d.）がモデル性能に与える影響を調査すること。
• DP-FL環境下でプライバシー予算（ε）を変化させた場合のモデル精度および収束への影響を評価すること。
• 実践的によく見られる小規模で現実的な医療データセットへのDP-FLの適用可能性を評価すること。
• クロスシロフェデレーテッドラーニングのシナリオにおけるプライバシー（DP）とモデル有効性（精度）のトレードオフを特定すること。

提案手法

• クライアント間でのモデル集約を伴う集中型フェデレーテッドラーニングとして、FedAvgアルゴリズムを採用した。
• PyTorchのOpacusライブラリを用いて、適応的合成と勾配クリッピングを伴う勾配のノイズ注入により、微分プライバシーを適用した。
• 各ラウンドに固定されたプライバシー予算を設定し、全体の(ε, δ)-DP保証を維持するためにεをトレーニングラウンドに分割した。
• MNIST、FEMNIST、および小規模な医療データセットに対して、異なるクライアント数とε値を用いて、畳み込みニューラルネットワーク（CNN）を訓練した。
• さまざまな構成下で、トレーニングラウンドにわたるテスト精度および損失を測定してモデルのパフォーマンスを評価した。
• FEMNISTに対しては、著者IDに基づく非i.i.d.なパーティショニング戦略を用い、現実的なデータの非均一性を模擬した。

(a) Accuracy and loss for different numbers of clients.

実験結果

リサーチクエスチョン

• RQ1 非i.i.d.データ分布は、DP-FLにおけるモデルの収束性および精度にどのように影響するか？
• RQ2 プライバシー予算εを変化させることで、フェデレーテッドラーニングにおけるDPの下でのモデル性能にどのような影響が生じるか？
• RQ3 小規模で現実的な医療データセットにおいて、DP-FLは十分なモデル有効性を達成できるか？
• RQ4 クロスシロフェデレーテッドラーニングにおいて、プライバシー（DP）とモデル有効性（精度）のトレードオフは何か？

主な発見

• i.i.d.データを用いたMNISTでは、ε=100であっても、モデル精度が95%を超えるものから約75%に低下し、20%の性能低下が生じた。
• 非i.i.d.なFEMNISTでは、DPが訓練プロセスの収束を妨げ、クライアント数が多くてもモデルの有効性が著しく低い状態となった。
• 小規模な医療データセットでは、クライアント数が増えるほど精度のばらつきが大きくなり、DPは精度を向上させなかった。ε=10のときのみ、損失がわずかに減少した。
• 非i.i.d.データおよび小規模なデータセットでは、DPメカニズムが学習を著しく妨げ、性能低下が顕著に現れた。
• 大きなプライバシー予算（ε=100）であっても、非プライベートな状態の精度に回復しなかったため、根本的なトレードオフが存在することが示された。
• 標準的なε値（例：0.1）は、小規模なデータセットではあまりに制限的であり、何らかの学習進捗を得るにはより大きなεが必要であった。

(b) Accuracy and loss for different values of $\epsilon$ , with 10 clients.