[論文レビュー] Differentially Private Federated Learning via Inexact ADMM with Multiple Local Updates

Minseok Ryu, Kibaek Kim|arXiv (Cornell University)|Feb 18, 2022

Privacy-Preserving Technologies in Data被引用数 6

ひとこと要約

本稿では、複数回の局所更新を伴う非正確なADMMを用いた、微分プライバシーを満たすフェデレーテッドラーニングアルゴリズムを提案する。目的関数へのラプラスノイズの摂動により、$¯{\epsilon}$-微分プライバシーが保証される。MNISTおよびFEMNISTにおいて、同じプライバシー予算のもとで、先行するDPアルゴリズムと比較して最大31%低いテスト誤差を達成し、精度-プライバシーのトレードオフが向上し、収束が速いことを示している。

ABSTRACT

Differential privacy (DP) techniques can be applied to the federated learning model to statistically guarantee data privacy against inference attacks to communication among the learning agents. While ensuring strong data privacy, however, the DP techniques hinder achieving a greater learning performance. In this paper we develop a DP inexact alternating direction method of multipliers algorithm with multiple local updates for federated learning, where a sequence of convex subproblems is solved with the objective perturbation by random noises generated from a Laplace distribution. We show that our algorithm provides $\barε$-DP for every iteration, where $\barε$ is a privacy budget controlled by the user. We also present convergence analyses of the proposed algorithm. Using MNIST and FEMNIST datasets for the image classification, we demonstrate that our algorithm reduces the testing error by at most $31\%$ compared with the existing DP algorithm, while achieving the same level of data privacy. The numerical experiment also shows that our algorithm converges faster than the existing algorithm.

研究の動機と目的

• フェデレーテッドラーニングにおけるデータプライバシーと学習性能のトレードオフを解決すること。
• 通信効率的でプライバシーを保証する最適化アルゴリズムを、FLに適用し、強い微分プライバシーを確保すること。
• 同じプライバシー予算のもとで、既存の微分プライバシーを適用したFL手法と比較して、解の精度を向上させること。
• 目的関数の摂動を用いて、データプライバシーを保持しつつ、収束を速め、一般化性能を向上させること。

提案手法

• 非正確な交替方向乗数法（IADMM）を用いて、分散的に凸部分問題の系列を解く。
• 各反復で、$¯{\epsilon}$-微分プライバシーを保証するために、目的関数にラプラス分布に従うノイズを注入する目的関数摂動を適用する。
• 通信ラウンドごとに複数回の局所更新を導入し、通信オーバーヘッドを低減するとともに収束速度を向上させる。
• 収束とプライバシーのバランスを取るために、適応則に基づく動的罰則パラメータ $\rho^{t}$ を採用する。
• プライバシー制約付きの非正確ADMMの枠組みにおいて、理論的収束保証を導出する。
• MNISTおよびFEMNISTデータセットにおける実験的評価のために、多クラスロジスティック回帰をモデルとして使用する。

実験結果

リサーチクエスチョン

• RQ1 微分プライバシーを適用したFLフレームワークにおいて、複数回の局所更新が収束速度とモデル精度を向上させることができるか？
• RQ2 フェデレーテッドラーニングにおいて、出力摂動と比較して、ラプラスノイズを用いた目的関数摂動がより優れたプライバシー-精度トレードオフを提供するか？
• RQ3 提案手法である複数回の局所更新を伴う非正確ADMMは、既存のDP-FL手法と比較して、テスト誤差と収束速度の点でどのように異なるか？
• RQ4 適応的罰則パラメータ選択が、FLにおける微分プライバシーADMMの性能に与える影響は何か？

主な発見

• 提案手法は、同じプライバシー予算のもとで、MNISTおよびFEMNISTデータセットにおいて、最先端のDPアルゴリズムと比較して最大31%低いテスト誤差を達成した。
• 提案手法は、反復回数に伴う訓練損失の低下が顕著で、既存のDP-FL手法よりも収束が速いことが実証された。
• 理論的分析により、アルゴリズムが各反復に対して $¯{\epsilon}$-微分プライバシーを満たすことが確認され、ユーザーがプライバシー予算を制御可能であることが示された。
• 実験結果から、罰則パラメータ $\rho^{t}$ の選択にかかわらず性能が安定しており、動的適応により安定した結果が得られた。
• 目的関数摂動の導入により、出力摂動と比較してより高い精度の解が得られ、プライバシー-精度トレードオフにおける優位性が裏付けられた。