[論文レビュー] Privacy Amplification via Compression: Achieving the Optimal Privacy-Accuracy-Communication Trade-off in Distributed Mean Estimation

Weining Chen, Dan Song+2 more|arXiv (Cornell University)|Apr 4, 2023

Privacy-Preserving Technologies in Data被引用数 5

ひとこと要約

本稿は、$(\varepsilon,\delta)$-微分プライバシー下で、プライバシー、通信量、正確性の最適なトレードオフを達成する分散平均推定のための圧縮に基づくプライバシー拡張技術を提案する。クライアントが自身のデータの部分的でランダムに選択された部分のみを通信することで、クライアント側のランダム性によるプライバシー拡張が実現され、通信量の大幅な削減——FLでは$\Theta(n\min(\varepsilon,\varepsilon^2))$ビット、FAでは$\Theta(\log(n\min(\varepsilon,\varepsilon^2)))$ビットにまで——が可能になり、$\ell_2$誤差は順序的に最適を維持する。

ABSTRACT

Privacy and communication constraints are two major bottlenecks in federated learning (FL) and analytics (FA). We study the optimal accuracy of mean and frequency estimation (canonical models for FL and FA respectively) under joint communication and $(\varepsilon, δ)$-differential privacy (DP) constraints. We show that in order to achieve the optimal error under $(\varepsilon, δ)$-DP, it is sufficient for each client to send $Θ\left( n \min\left(\varepsilon, \varepsilon^2 ight) ight)$ bits for FL and $Θ\left(\log\left( n\min\left(\varepsilon, \varepsilon^2 ight) ight) ight)$ bits for FA to the server, where $n$ is the number of participating clients. Without compression, each client needs $O(d)$ bits and $\log d$ bits for the mean and frequency estimation problems respectively (where $d$ corresponds to the number of trainable parameters in FL or the domain size in FA), which means that we can get significant savings in the regime $ n \min\left(\varepsilon, \varepsilon^2 ight) = o(d)$, which is often the relevant regime in practice. Our algorithms leverage compression for privacy amplification: when each client communicates only partial information about its sample, we show that privacy can be amplified by randomly selecting the part contributed by each client.

研究の動機と目的

• 共同制約下における分散平均推定におけるプライバシー、通信量、正確性の最適なトレードオフの理解のギャップを埋めること。
• フェデレーテッドラーニングおよびアナリティクスにおいて、正確性やプライバシーを損なわずに通信効率を向上させることができるかを調査すること。
• クライアントがより少ない情報を送信しつつも、最適なプライバシー・正確性・通信量のトレードオフを達成できる手法を開発すること。
• 中央型およびマルチメッセージシャッフルDPモデルの両方において、圧縮によるプライバシー拡張を拡張し、信頼性と効率性を確保すること。

提案手法

• クライアントは自身のデータのランダムに選択された部分集合（例：ランダムに選ばれたモデルパラメータやヒストグラムの要素）のみを通信することで、通信負荷を低減する。
• 各クライアントがデータのどの部分を送信するかをランダムに選ぶことで、プライバシー拡張を達成し、サーバーが特定の部分を特定のクライアントに結びつけることができなくなる。
• 中央型DPモデルでは、サーバーが圧縮されたデータを受信・集約し、通信量を削減しつつも最適な$\ell_2$誤差を達成する。
• マルチメッセージシャッフルモデルでは、各クライアントがローカルでプライバシー保護と匿名化を実行する安全なシャッフル装置を介して選択されたデータ部分を送信し、信頼できるサーバーの必要性を排除する。
• シャッフル環境下でも最適なプライバシー保証を維持するため、複数ラウンドにわたってプライバシー予算を分割する戦略を用いる。
• 理論的分析により、$\ell_2$誤差が順序的に最適であり、$O\left(\frac{C^2 d}{n^2 \min(\varepsilon^2, \varepsilon)}\right)$の誤差が対数要因を除いて達成されることを示している。

(a)

実験結果

リサーチクエスチョン

• RQ1 分散平均推定において、プライバシーや正確性を損なわずに通信負荷を低減できるか？
• RQ2 クライアントデータのランダムな圧縮がプライバシー拡張をもたらすのか、もしそうならどのような条件下で成立するのか？
• RQ3 中央型およびマルチメッセージシャッフルDPモデルの両方で、最適なプライバシー・正確性・通信量のトレードオフを達成できるか？
• RQ4 $(\varepsilon,\delta)$-DP下で順序的に最適な$\ell_2$誤差を達成するために必要な最小通信コストは何か？
• RQ5 提案手法は、既存のローカルDPおよびシャッフルDPメカニズムと比較して、実用的性能においてどのように差をつけるか？

主な発見

• 提案手法は、$(\varepsilon,\delta)$-DP下で、対数要因を除いて$O\left(\frac{C^2 d}{n^2 \min(\varepsilon^2, \varepsilon)}\right)$の順序的に最適な$\ell_2$誤差を達成する。
• フェデレーテッドラーニングではクライアントが$\Theta(n\min(\varepsilon,\varepsilon^2))$ビット、頻度推定では$\Theta(\log(n\min(\varepsilon,\varepsilon^2)))$ビットを通信するだけで、最適な正確性を達成できる。
• 高プライバシー環境（$\varepsilon \leq 0.5$）では、$b=50$ビットのCSGMが$d=500$で10倍の圧縮、$d=5000$で100倍の圧縮を実現し、平均二乗誤差に損失がない。
• 固定通信予算10ビットの場合、CSGMは平均二乗誤差の観点でシャッフルDPおよびローカルDPメカニズムを上回る性能を示す。
• $n\min(\varepsilon,\varepsilon^2) = o(d)$である場合でも、圧縮によるプライバシー拡張は有効であり、これは実際の状況で一般的であるため、通信量の大幅な削減が可能になる。
• シャッフルベースのバージョンは中央モデルと同等の最適なトレードオフを達成し、信頼できるサーバーの必要性を排除するため、信頼できない環境への展開が可能になる。

(b)