[論文レビュー] Differentially Private Aggregation in the Shuffle Model: Almost Central Accuracy in Almost a Single Message

Badih Ghazi, Ravi Kumar+3 more|arXiv (Cornell University)|Sep 27, 2021

Privacy-Preserving Technologies in Data被引用数 7

ひとこと要約

本稿では、シャッフルモデルにおける発展的プライバシー保護型集約プロトコルを提示する。このプロトコルは、中央モデルにおけるラプラス機構の誤差と同等の近似中央精度を達成する一方で、各ユーザーが期待値として1 + o(1)回のメッセージ送信のみを必要とする。相関ノイズの注入と確率的丸めを用いることで、通信オーバーヘッドを最小限に抑え、メッセージ長を非プライベートなベースラインに近づける。これにより、大規模システムにおける効率的かつプライベートな実数値集約が可能になる。

ABSTRACT

The shuffle model of differential privacy has attracted attention in the literature due to it being a middle ground between the well-studied central and local models. In this work, we study the problem of summing (aggregating) real numbers or integers, a basic primitive in numerous machine learning tasks, in the shuffle model. We give a protocol achieving error arbitrarily close to that of the (Discrete) Laplace mechanism in the central model, while each user only sends $1 + o(1)$ short messages in expectation.

研究の動機と目的

• 発展的プライバシーにおける中央モデルの高精度とローカルモデルの強力なプライバシーの間のギャップを埋めること。
• 中央モデルのラプラス機構に近い誤差を達成する、実数値集約のためのシャッフルモデルプロトコルを設計すること。
• 通信オーバーヘッドを最小限に抑え、ユーザーが平均して1つ以上のわずかなメッセージ数を送信すること。
• 強いプライバシー制約下でも、メッセージサイズを非プライベートなベースラインに近づけること。
• リアルタイム処理やフェデレーテッドラーニング環境など、通信コストが重要な文脈での実用的導入を可能にすること。

提案手法

• 実数値を有限集合 {0, 1, ..., Δ} に確率的丸めにより離散化することで、Δ-和集合問題に還元する。
• 中央モデルにおける離散ラプラス分布の統計的性質を模倣する相関ノイズ機構を導入する。
• 各ユーザーは、プライバシーと精度のバランスを考慮して設計された分布に従い、期待値として1 + o(1)のメッセージ数を送信する。
• シャッフル装置がメッセージをランダムに並び替え、各個々のメッセージが発展的プライバシー保護を満たす。
• アナライザーは、シャッフルされたメッセージを組み合わせ、逆丸めを適用することで、推定誤差を最小限に抑える。
• ノイズとメッセージ分布の精密なキャリブレーションにより、(ε, δ)-発展的プライバシー保護を達成する。

実験結果

リサーチクエスチョン

• RQ1 シャッフルモデルにおいて、通信オーバーヘッドを最小限に抑えつつ、近似中央精度を達成できるか？
• RQ2 ユーザーが1 + o(1)のメッセージ数を送信するプロトコルを設計可能か、かつ強いプライバシーを維持できるか？
• RQ3 強力なプライバシー制約下でも、メッセージサイズを非プライベートなベースラインに近づけられるか？
• RQ4 提案プロトコルの誤差は、RAPPOR や IKOS や中央ラプラス機構といった既存手法と比較してどの程度か？
• RQ5 フェデレーテッドラーニングやインカウンティング調査のような多数ユーザーが関与する大規模システムにおいて、効率的にスケーリング可能か？

主な発見

• 本プロトコルは、任意の ζ > 0 に対して、パラメータ (1−ζ)ε のラプラス機構と同等の平均二乗誤差（MSE）を達成する。
• ユーザー1人あたり、期待値として 1 + Õζ,ε(log(1/δ)/√n) のメッセージ数を送信する。n が増加するにつれ、1つのメッセージに漸近的に近づく。
• 1メッセージあたりのビット数は ½log n + O(log(1/ζ)) に留まり、非プライベート通信コストに下位項を除いて一致する。
• 特に高解像度（Δ=200）の条件下で、RAPPOR や IKOS よりも誤差と通信量の両面で優れている。
• Δ=200 の場合、提案プロトコルのRMSEはRAPPORの半分未満であり、通信オーバーヘッドは60％未満に保たれる。
• 通信コストはほぼ一定であり、δ や ε に依存しない。他のプロトコルとは異なり、1/δ に比例して増加したり、ε に反比例して減少したりしない。