[論文レビュー] The Distributed Discrete Gaussian Mechanism for Federated Learning with Secure Aggregation

Peter Kairouz, Ziyu Liu+1 more|arXiv (Cornell University)|Feb 12, 2021

Privacy-Preserving Technologies in Data参考文献 66被引用数 25

ひとこと要約

分散ディスクリートガウス機構を提案し、プライベートフェデレーテッドラーニングに対して secure aggregation を用い、更新を離散化し、離散ガウスノイズを加え、ディスクリートガウスの和とモジュラー算術でプライバシーを分析する；約16ビット/値で中央DP近似の精度を示し、オープンソースコードを提供。

ABSTRACT

We consider training models on private data that are distributed across user devices. To ensure privacy, we add on-device noise and use secure aggregation so that only the noisy sum is revealed to the server. We present a comprehensive end-to-end system, which appropriately discretizes the data and adds discrete Gaussian noise before performing secure aggregation. We provide a novel privacy analysis for sums of discrete Gaussians and carefully analyze the effects of data quantization and modular summation arithmetic. Our theoretical guarantees highlight the complex tension between communication, privacy, and accuracy. Our extensive experimental results demonstrate that our solution is essentially able to match the accuracy to central differential privacy with less than 16 bits of precision per value.

研究の動機と目的

• principled, end-to-end system で secure aggregation と差分プライバシーを組み合わせて、プライベートなフェデレーテッドラーニングを実現する。
• 実数-valued クライアント更新を離散化し、モジュラーなセキュアサマリ提案する前に離散ガウスノイズを加え、プライバシーを保護する。
• モジュラー算術とデータ量子化の下で、ディスクリートガウスの和の厳密なプライバシー／有用性分析を提供する。
• 実用的なFL設定で通信、プライバシー、精度のトレードオフを評価する。
• 各値あたりの精度が限られた（16ビット未満）で、中央DP精度に迫る経験的性能を示す。

提案手法

• クライアント側: 更新をクリップし離散化、Walsh-Hadamard変換で回転/フラット化、整数へのランダム丸めを実行し、モジュロmの結果を送信する前に離散ガウスノイズを加える。
• サーバー側: 対称変換を用いてモジュラー和を実数空間に戻し、真の和の近似を回復する。
• Privacy: ユーザーのデータの追加/削除に対して、1/2 epsilon^2-集中型差分プライバシーを満たすことを証明する。
• Accuracy: 離散化、ノイズ、モジュラの巻き戻しを考慮して平均二乗誤差を評価し、設定域で中央DPに一致する結果。
• Provide parameter relationships and tradeoffs among dimension d, modulus m, granularity gamma, clipping c, and noise sigma.
• Experimentally validate on distributed mean estimation and federated learning tasks, comparing to centralized Gaussian mechanisms and showing practical bit-precision efficiency.

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングにおいて、DP保証を提供しつつ離散化された privatized 更新を安全に集約するにはどうすればよいか。
• RQ2 離散化、モジュラー算術、量子化が、セキュアアグリゲーションを伴う分散DPにおけるプライバシーと精度に与える影響は何か。
• RQ3 分散環境でのディスクリートガウスノイズは、現実的な通信制約下で中央DPの有用性に匹敵できるか。
• RQ4 プライバシー、精度、通信のバランスをとる実用的なパラメータ領域（d, m, c, gamma, sigma）とは。
• RQ5 提案システムは、厳密なプライバシー予算の下で、フェデレーテッドラーニングのベンチマーク（例：EMNIST、Stack Overflow）で中央DPと比較してどの程度性能を発揮するか。

主な発見

• 分散ディスクリートガウス機構は、クライアントのデータの追加/削除に対して 1/2 epsilon^2-集中型DP を達成する。
• ディスクリートガウスの和は、研究されたパラメータ領域でディスクリートガウスに近く、強力なDP保証を可能にする。
• 提案プロトコルの平均二乗誤差の境界は中央DPに近い精度を示し、実証結果は中央性能に近いことを示す。
• 通信コストは各座標のビット数 log m を用いて O(d log m) にスケールし、限定的な精度での実装を可能にする。
• 実験は、分散平均推定設定で、16ビット未満のビットで中央DP精度に匹敵することを示す。
• オープンソース実装が TensorFlow Privacy と TensorFlow Federated に提供されている。