[論文レビュー] The Skellam Mechanism for Differentially Private Federated Learning

Naman Agarwal, Peter Kairouz+1 more|arXiv (Cornell University)|Oct 11, 2021

Privacy-Preserving Technologies in Data参考文献 43被引用数 37

ひとこと要約

多次元の Skellam メカニズムを離散的微分プライバシーのために導入し、その Rényi DP の保証を分析し、通信制約下のセキュア集約を伴う連合学習において、プライバシー・有用性の競争力ある性能を実証する。

ABSTRACT

We introduce the multi-dimensional Skellam mechanism, a discrete differential privacy mechanism based on the difference of two independent Poisson random variables. To quantify its privacy guarantees, we analyze the privacy loss distribution via a numerical evaluation and provide a sharp bound on the Rényi divergence between two shifted Skellam distributions. While useful in both centralized and distributed privacy applications, we investigate how it can be applied in the context of federated learning with secure aggregation under communication constraints. Our theoretical findings and extensive experimental evaluations demonstrate that the Skellam mechanism provides the same privacy-accuracy trade-offs as the continuous Gaussian mechanism, even when the precision is low. More importantly, Skellam is closed under summation and sampling from it only requires sampling from a Poisson distribution -- an efficient routine that ships with all machine learning and data analysis software packages. These features, along with its discrete nature and competitive privacy-accuracy trade-offs, make it an attractive practical alternative to the newly introduced discrete Gaussian mechanism.

研究の動機と目的

• 高次元の連合学習とセキュア集約に適した、離散的で容易にサンプリング可能な DP メカニズムの必要性を動機づける。
• ポアソン変数2つの差に基づくノイズモデルとして、多次元 Skellam メカニズムを提案する。
• Rényi DP とプライバシー損失分布を用いて厳密なプライバシー保証を提供し、Gaussian のトレードオフに匹敵することを目指す。
• 集中型および分散型 DP 設定、通信制約下の FL シナリオを含む、実用的な適用性を示す。

提案手法

• 多次元 Skellam 分布を定義し、和に対して閉包性を示して分散解析を可能にする。
• 整数値クエリへ Skellam ノイズを加えることで Skellam メカニズムを構築する。
• プライバシー損失分布を用いてプライバシーを特徴づけ、整数 α>1 に対して鋭い (α, ε)-RDP 境界を証明する。
• Skellam メカニズムの RDP 保証が Gaussian メカニズムと比べて 1+O(1/μ) の要因以内であることを示す。
• モジュラ演算と離散化を適用して、Skellam をセキュア集約を伴う連合学習に適合させる。
• Skellam を離散 Gaussian および二項メカニズムと比較し、実用的な利点を主張する。
• 離散化、丸め、Skellam ノイズを組み込んだ通信制約下のエンドツーエンド FL アルゴリズムを提供する。

実験結果

リサーチクエスチョン

• RQ1 離散で和の閉包を持つノイズ機構は、高次元で反復的な学習において Gaussian ノイズと同様のプライバシー-有用性のトレードオフを達成できるのか？
• RQ2 多次元設定で Skellam ノイズを Rényi DP を用いて効果的に定量化・組み合わせるにはどうすればよいか？
• RQ3 通信制約下でのセキュア集約を伴う連合学習において、有用性を損なうことなく Skellam ベースの DP を展開することは実現可能か？
• RQ4 離散化・スケーリング・丸めは、実用的な FL パイプラインにおける感度とプライバシーにどのような影響を与えるか？
• RQ5 サンプリング・総和・ソフトウェアサポートの観点で、Skellam は離散 Gaussian および二項メカニズムとどう比較されるか？
• RQ6

主な発見

• 多次元 Skellam メカニズムは (α, ε(α))-RDP を提供し、ε(α) は Gaussian ベースラインに対して 1+O(1/μ) まで近くに制限される。
• Skellam ノイズは和に対して閉包するため、セキュア集約を伴う効率的な分散 DP を可能にする。
• 離散 Skellam のサンプリングは Poisson サンプリングに簡略化され、入手しやすいソフトウェアおよびハードウェアのサポートと一致する。
• このメカニズムは、厳密なプライバシーおよび通信予算の下で、連合学習における Gaussian のプライバシー-精度のトレードオフに一致する。
• 離散化と丸め戦略は、感度を制限し、中央・分散 DP 設定の有用性を維持できる。
• 分散平均推定および連合データセット（Federated EMNIST、Stack Overflow、Shakespeare）での実証的評価は、Gaussian ベースラインと競合する性能を示す。