[論文レビュー] Scalable and Differentially Private Distributed Aggregation in the Shuffled Model

Badih Ghazi, Rasmus Pagh+1 more|arXiv (Cornell University)|Jun 19, 2019

Privacy-Preserving Technologies in Data参考文献 15被引用数 68

ひとこと要約

この論文は、ポリログリズム的な通信と誤差の成長を伴うシャッフルモデルにおけるプライベートな分散集計のスケーラブルなプロトコルを、invisibility cloak of zero-sum noise を用いて導入する。

ABSTRACT

Federated learning promises to make machine learning feasible on distributed, private datasets by implementing gradient descent using secure aggregation methods. The idea is to compute a global weight update without revealing the contributions of individual users. Current practical protocols for secure aggregation work in an "honest but curious" setting where a curious adversary observing all communication to and from the server cannot learn any private information assuming the server is honest and follows the protocol. A more scalable and robust primitive for privacy-preserving protocols is shuffling of user data, so as to hide the origin of each data item. Highly scalable and secure protocols for shuffling, so-called mixnets, have been proposed as a primitive for privacy-preserving analytics in the Encode-Shuffle-Analyze framework by Bittau et al., which was later analytically studied by Erlingsson et al. and Cheu et al.. The recent papers by Cheu et al., and Balle et al. have given protocols for secure aggregation that achieve differential privacy guarantees in this "shuffled model". Their protocols come at a cost, though: Either the expected aggregation error or the amount of communication per user scales as a polynomial $n^{Ω(1)}$ in the number of users $n$. In this paper we propose simple and more efficient protocol for aggregation in the shuffled model, where communication as well as error increases only polylogarithmically in $n$. Our new technique is a conceptual "invisibility cloak" that makes users' data almost indistinguishable from random noise while introducing zero distortion on the sum.

研究の動機と目的

• 分散データ上で個々の入力を明かさずにプライベートな和を動機づける。
• 先行研究の n に対する多項式依存を超えるシャッフルモデル集計のスケーラビリティを向上させる。
• ユーザあたりの通信量が低く、集計誤差も小さいプロトコルを開発する。
• シャッフルモデルにおける不信任または共謀するユーザに対する頑健性の洞察を提供する。

提案手法

• x_i を、スケーリングと法演算により和が x_i に等しくなるような m 個のランダム値の集合に変換する Invisibility Cloak Encoder を提案する。
• すべてのエンコード出力をランダム化するシャッフラーを用い、合計を保存するデータ変更に対して差分プライバシーを有効にする。
• アナライザーは、シャッフルされた出力を集約し、法的還元を適用して真の和を推定する。
• 最終和を保持しつつ個々の入力を隠す zero-sum ノイズ技法を導入し、集計の歪みなしにプライバシーを可能にする。
• 二つのプライバシー概念を提供する：単一ユーザ変更と（離散化後の）和を保存する変更。
• シャッフルモデルの離散的プライバシー分析フレームワークを提示し、(ε,δ)-DP を達成するパラメータ設定を導出する。

実験結果

リサーチクエスチョン

• RQ1 シャッフルモデルで、各ユーザの通信量と誤差を polylogarithmic に抑えつつ、n における n^{Ω(1)} の壁を破って差分プライバシーを達成できるか？
• RQ2 zero-sum ノイズを用いて個々の入力を覆い、シャッフルプライバシー環境でグローバル和を歪ませずに済むか？
• RQ3 和を保存する変更と単一ユーザ変更の下でのプライバシー保証はどうか、またエンコーダのパラメータはこれらの保証にどう影響するか？
• RQ4 シャッフルモデルの枠組みで、共謀するまたは信頼できないユーザに対してプライバシー保証はどれくらい頑健か？
• RQ5 どのパラメータ領域（m, N, k, ε, δ が）プライバシーと精度に実用的な境界をもたらすか？

主な発見

• 期待誤差 O(1/ε · sqrt(log(1/δ))) とユーザあたりの通信 O(log(n/(εδ))) 件、サイズは O(log(n/δ)) のメッセージを伴うシャッフルモデルプロトコルが存在する。
• 和を保存する変更の下で、最悪誤差 2^{-m} とユーザあたりの通信 m 件、サイズは O(m) のプロトコルがある。
• invisibility cloak 技法は、最終和を保存しつつ各ユーザーのデータをほぼランダムに見せ、最終的な歪みなしに DP を可能にする。
• このアプローチは、通信と誤差の双方でユーザ数にほぼ線形なスケーリングを達成し、先行研究の n^{Ω(1)} の因子を避ける。
• 本研究は和を保存する変更下での DP 保証を確立し、共謀または不信頼なユーザへの耐性にも言及する。