[論文レビュー] Pure Differentially Private Summation from Anonymous Messages

Badih Ghazi, Noah Golowich+4 more|arXiv (Cornell University)|Jan 1, 2020

Privacy-Preserving Technologies in Data参考文献 35被引用数 14

ひとこと要約

本稿では、定数誤差を伴う二値および実数値の合計に関する、シャッフルモデルにおける最初の純粋な微分プライバシー方式を提示する。これは、各ユーザーが二値合計に対してOϵ(log n)ビット、実数合計に対してOϵ(log³n)ビットを送信する、新たなマルチメッセージシャッフルプロトコルを設計することによって達成される。同時に、タイトなΩϵ(√log n)通信下界を示し、純粋なDPと近似DPの間、およびシャッフルモデルと中央モデルの間の分離を確立する。

ABSTRACT

The shuffled (aka anonymous) model has recently generated significant interest as a candidate distributed privacy framework with trust assumptions better than the central model but with achievable errors smaller than the local model. We study pure differentially private (DP) protocols in the shuffled model for summation, a basic and widely used primitive: - For binary summation where each of n users holds a bit as an input, we give a pure $ε$-DP protocol for estimating the number of ones held by the users up to an error of $O_ε(1)$, and each user sends $O_ε(\log n)$ messages each of 1 bit. This is the first pure protocol in the shuffled model with error $o(\sqrt{n})$ for constant $ε$. Using this protocol, we give a pure $ε$-DP protocol that performs summation of real numbers in $[0, 1]$ up to an error of $O_ε(1)$, and where each user sends $O_ε(\log^3 n)$ messages each of $O(\log\log n)$ bits. - In contrast, we show that for any pure $ε$-DP protocol for binary summation in the shuffled model having absolute error $n^{0.5-Ω(1)}$, the per user communication has to be at least $Ω_ε(\sqrt{\log n})$ bits. This implies the first separation between the (bounded-communication) multi-message shuffled model and the central model, and the first separation between pure and approximate DP protocols in the shuffled model. To prove our lower bound, we consider (a generalization of) the following question: given $γ$ in $(0, 1)$, what is the smallest m for which there are two random variables $X^0, X^1$ supported on $\{0, \dots ,m\}$ such that (i) the total variation distance between $X^0$ and $X^1$ is at least $1-γ$, and (ii) the moment generating functions of $X^0$ and $X^1$ are within a constant factor of each other everywhere? We show that the answer is $m = Θ(\sqrt{\log(1/γ)})$.

研究の動機と目的

• 誤差o(√n)および定数絶対誤差を伴う、シャッフルモデルにおける二値合計の最初の純粋な微分プライバシー方式を開発すること。
• 二値合計方式を拡張し、[0,1]の実数値を扱うのに定数誤差と効率的な通信を達成すること。
• 純粋DPにおけるシャッフルモデルの通信下界を確立し、中央モデルおよび近似DPプロトコルから分離すること。
• 特に合計の文脈において、純粋DPに必要な最小通信量を特定する根本的な問いに答えること。
• 離散分布の全変動距離およびモーメント生成関数をバウンドするための新しい解析フレームワークを提供すること。これはより広範な応用可能性を有する可能性がある。

提案手法

• 各ユーザーが入力ビットをOϵ(log n)個の匿名メッセージに符号化するマルチメッセージシャッフルプロトコルを設計し、ノイズを丁寧に調整したランダムレスポンスを用いる。
• シャッフル装置を用いて全メッセージをランダムに並び替えることで、解析者がメッセージとユーザーを関連付けられなくなり、純粋な微分プライバシーを達成する。
• 実数値合計プロトコルにおいて、複数のビット位置におけるプライバシー損失の合成定理を適用し、誤差を最小化するためのプライバシーバジェットを割り当てる。
• モーメント生成関数（MGF）比の解析を通じて通信量の下界を証明し、全変動距離と関連付ける。
• MGF比が定数要因内にあり、全変動距離が≥1−γであるような{0,...,m}上での2つの分布の最小mを一般化して解析し、m = Θ(√log(1/γ))を示す。
• 入力の2進数表現の各ビット位置に対して、独立に二値プロトコルを適用し、プライバシーバジェットを割り当てることで実数値合計プロトコルを構築する。

実験結果

リサーチクエスチョン

• RQ1 シャッフルモデルにおける純粋な微分プライバシー方式は、サブ線形通信量で二値合計に対して定数誤差を達成できるか？
• RQ2 シャッフルモデルにおける二値および実数値合計の文脈で、純粋DPの最適通信複雑度は何か？
• RQ3 シャッフルモデルにおいて、純粋DPと近似DPのプロトコルの間に明示的な分離が存在するか？
• RQ4 モーメント生成関数解析を用いて、シャッフルモデルにおける純粋DPの通信下界を確立できるか？
• RQ5 マルチメッセージシャッフルモデルは、純粋DPの文脈で中央モデルに比べて通信効率に明確な利点を提供するか？

主な発見

• 本稿では、絶対誤差Oϵ(1)を伴う、シャッフルモデルにおける二値合計の純粋ϵ-微分プライバシー方式を提示する。各ユーザーは1ビットのメッセージをOϵ(log n)個送信する。
• 実数値[0,1]の合計に関しては、期待誤差がO(√log(1/ϵ)/ϵ³/²)に抑えられ、各ユーザーがOϵ(log³n)個のO(log log n)ビットのメッセージを送信する。
• 誤差n⁰.⁵⁻ᴼ⁽¹⁾の任意の純粋ϵ-DPプロトコルについて、1ユーザーあたりΩϵ(√log n)ビットの通信下界を証明し、中央モデルから分離することを確立する。
• 下界は、2つの{0,...,m}上での分布が全変動距離≥1−γであり、MGF比が定数要因内にあるような最小mを解析することで得られ、m = Θ(√log(1/γ))であることを示す。
• 本プロトコルは、シャッフルモデルにおいて純粋DPと近似DPの間で初めて分離を示した。近似DPプロトコルは、より低い通信量で非定数誤差を達成できるためである。
• 実数値合計プロトコルは、各ビット位置に対して独立に二値プロトコルを適用し、プライバシーバジェットを割り当てることで誤差を最小化する。通信複雑度は1ユーザーあたりOϵ(log³n)である。