[論文レビュー] Differentially Private Learning with Adaptive Clipping

Galen Andrew, Om Thakkar+2 more|arXiv (Cornell University)|May 9, 2019

Privacy-Preserving Technologies in Data参考文献 35被引用数 89

ひとこと要約

この論文は、DP-FedAvg 中で、各ユーザーのアップデートノルムの対象分位数（例：中央値）を秘密裏に推定しクリッピングすることを提案し、固定クリップ値の調整なしに適応的なプライベートクリッピングを可能にし、連合学習タスク全般で高い有用性を示す。

ABSTRACT

Existing approaches for training neural networks with user-level differential privacy (e.g., DP Federated Averaging) in federated learning (FL) settings involve bounding the contribution of each user's model update by clipping it to some constant value. However there is no good a priori setting of the clipping norm across tasks and learning settings: the update norm distribution depends on the model architecture and loss, the amount of data on each device, the client learning rate, and possibly various other parameters. We propose a method wherein instead of a fixed clipping norm, one clips to a value at a specified quantile of the update norm distribution, where the value at the quantile is itself estimated online, with differential privacy. The method tracks the quantile closely, uses a negligible amount of privacy budget, is compatible with other federated learning technologies such as compression and secure aggregation, and has a straightforward joint DP analysis with DP-FedAvg. Experiments demonstrate that adaptive clipping to the median update norm works well across a range of realistic federated learning tasks, sometimes outperforming even the best fixed clip chosen in hindsight, and without the need to tune any clipping hyperparameter.

研究の動機と目的

• Federated Averaging を用いたユーザーレベルの DP において、固定クリッピングノルムを選ぶ難しさを動機づける。
• 更新の指定ノルム分位数（例：中央値）を追跡するための、秘密裡に推定可能な分位数クリッピング機構を導入する。
• 適応的クリッピングが DP-FedAvg、圧縮、およびセキュアアグリゲーションと互換性があることを示す。
• 現実的な FL タスク全般で適応的クリッピングと固定クリッピングを経験的に比較し、チューニングなしで固定クリッピングと同等またはそれを上回るシナリオを示す。

提案手法

• 更新ノルムの gamma-分位数を出力する分位数ベースのクリッピング損失を定義する。
• 更新ノルム分布の gamma-分位数に向かってクリップ閾値 C を追跡するために、幾何学的更新を伴うオンライン勾配降下を用いる。
• C を更新する前にカウントにガウスノイズを加えることで、クリップ済み更新指標の和を秘密裏に推定し、差分プライバシーを保証する。
• サーバー運動量と秘密の適応クリッピングを組み合わせて DP-FedAvg-M を得、非適応的 DP-FedAvg との明示的な同値性を介してプライバシーを関連づける。
• 実用的なデフォルト値（例：sigma_b = m/20、eta_C = 0.2）と分位追跡プロセスのプライバシー分析を提供する。
• ラウンド間の RDP 合成の下で、分位推定列が (0.034, n^{-1.1})-DP を満たすという DP 計測結果を提示する。）

実験結果

リサーチクエスチョン

• RQ1 ターゲット更新ノルム分位数（例：中央値）への適応クリッピングは、チューニングなしで固定クリッピングと同等またはそれを上回る有用性を DP-FedAvg に提供できるか。
• RQ2 連合設定で更新ノルム分布の分位数を追跡するために、クリッピング閾値を秘密裏かつ効率的に更新するにはどうすればよいか。
• RQ3 固定クリッピングと比べた場合の適応分位クリッピングのプライバシー損失とノイズ増幅への影響は何か。
• RQ4 DP-FedAvg-M は圧縮やセキュアアグリゲーションなどの一般的な FL 技術と DP 保証を維持しつつ互換性があるか。

主な発見

• 中央値（gamma = 0.5）への適応クリッピングは、複数のタスクを通じて未クリップベースと比較して通常性能を改善するか、同等である。
• ほとんどのタスクで、適応クリッピングは後から決定した任意の固定クリップと同等以上の性能を示し、ハイパーパラメータの調整は不要である。
• 同じプライバシー予算で比較すると、適応的アプローチは固定クリッピングよりも高い有用性を示すことが多く、クリッピングのハイパーパラメータの調整は不要である。
• 提案手法 DP-FedAvg-M は適応クリッピングとともに圧縮およびセキュアアグリゲーションと互換性を保つ。
• 幾何更新による分位追跡はターゲット分位数へ収束し、追加のプライバシーコストが小さな場合にはプライベートにできる（m が大きいときは無視できる）。
• 実用的なデフォルト値（sigma_b = m/20、eta_C = 0.2）を用いると、適応法は DP 保証を達成しつつアップデートに対して控えめな追加ノイズのみを課す。