[論文レビュー] The Distributed Discrete Gaussian Mechanism for Federated Learning with Secure Aggregation

Peter Kairouz, Ziyu Liu+1 more|arXiv (Cornell University)|Feb 12, 2021

Privacy-Preserving Technologies in Data被引用数 41

ひとこと要約

本論文は、セキュア集約と統合された分散ディスクリートガウス機構を用いたフェデレーテッドラーニングを紹介し、離散化とモジュラー算術の下でのプライバシーと精度を分析し、通信コストが低い（値あたり ≤16ビット）でほぼセ central-DP の精度を実証する。

ABSTRACT

We consider training models on private data that are distributed across user devices. To ensure privacy, we add on-device noise and use secure aggregation so that only the noisy sum is revealed to the server. We present a comprehensive end-to-end system, which appropriately discretizes the data and adds discrete Gaussian noise before performing secure aggregation. We provide a novel privacy analysis for sums of discrete Gaussians and carefully analyze the effects of data quantization and modular summation arithmetic. Our theoretical guarantees highlight the complex tension between communication, privacy, and accuracy. Our extensive experimental results demonstrate that our solution is essentially able to match the accuracy to central differential privacy with less than 16 bits of precision per value.

研究の動機と目的

• デバイス間に更新が分散される場合のプライバシー保護型フェデレーテッドラーニングを動機づける。
• 更新を離散化し、セキュア集約の前に離散ガウスノイズを加えるエンドツーエンドのシステムを提案する。
• 量子化とモジュラー和の下での離散ガウスの和に関する理論的プライバシー分析を提供する。
• 離散化、ノイズ、およびモジュラー算術が精度と通信量に与える影響を分析する。
• 低ビット精度で中央DPと同等の実用性を、実験を通じて実証する。

提案手法

• クライアント側でクリッピング、粒度設定、および Hadamard 型のフラット化変換を x_i に適用する。
• 各クライアントは離散化されたベクトルを整数にランダムに丸め、Z_m^d の z_i を送信する前に離散ガウスノイズを加える。
• セキュア集約をブラックボックスとして用い、z_i をモジュロ m で和算し、集計結果のみを開示する。
• サーバはモジュラー和を実数ベクトルに戻して、入力の和を近似する。
• 理論的プライバシー保証: (1/2)·epsilon^2-concentrated DP for the protocol.
• Accuracy analysis shows mean-squared error scaling with c^2 d / epsilon^2 under given parameter regimes.

実験結果

リサーチクエスチョン

• RQ1 更新が整数に量子化される場合、セキュア集約下でフェデレーテッドラーニングの更新をどのようにプライベート化できるか？
• RQ2 モジュラー算術を用いる分散DP設定で、離散ガウスの和が強力なプライバシー保証を提供し得るか。
• RQ3 SecAgg を用いる FL における離散化の粒度、ノイズスケール、通信量のトレードオフは何か。
• RQ4 実務上、離散ガウスノイズを用いた分布DPは中央DPにどれだけ近づけるか。

主な発見

• 本プロトコルは、前述の仮定とパラメータの下で (1/2)·epsilon^2-concentrated DP を達成する。
• 平均二乗誤差の上限は O(c^2 d / epsilon^2)、精度は中央DPと同等のオーダーに一致する。
• 実験は、座標ごとに16ビットで中央Gaussian機構の有用性にほぼ匹敵することを示す。
• 次元に対してほぼ線形の時間と通信コスト O(d log m) で実用的なままである。
• オープンソース実装が提供されており（TensorFlow Privacy/Federated）、DME および FL タスクへの適用性を実証している。