[論文レビュー] Linear Queries Estimation with Local Differential Privacy

Raef Bassily|arXiv (Cornell University)|Oct 5, 2018

Privacy-Preserving Technologies in Data参考文献 18被引用数 16

ひとこと要約

本稿では、局所的微分プライバシー（LDP）下での線形クエリ推定のための新しいアルゴリズムを提示し、高次元設定において最適なL₂およびL∞推定誤差バウンドを達成している。L₂射影と拒否サンプリングを組み合わせることで、オフライン設定において次元dに依存しない誤差を保証し、適応的クエリにおいて既知の下界に一致する。

ABSTRACT

We study the problem of estimating a set of $d$ linear queries with respect to some unknown distribution $\mathbf{p}$ over a domain $\mathcal{J}=[J]$ based on a sensitive data set of $n$ individuals under the constraint of local differential privacy. This problem subsumes a wide range of estimation tasks, e.g., distribution estimation and $d$-dimensional mean estimation. We provide new algorithms for both the offline (non-adaptive) and adaptive versions of this problem. In the offline setting, the set of queries are fixed before the algorithm starts. In the regime where $n\lesssim d^2/\log(J)$, our algorithms attain $L_2$ estimation error that is independent of $d$, and is tight up to a factor of $ ilde{O}\left(\log^{1/4}(J) ight)$. For the special case of distribution estimation, we show that projecting the output estimate of an algorithm due to [Acharya et al. 2018] on the probability simplex yields an $L_2$ error that depends only sub-logarithmically on $J$ in the regime where $n\lesssim J^2/\log(J)$. These results show the possibility of accurate estimation of linear queries in the high-dimensional settings under the $L_2$ error criterion. In the adaptive setting, the queries are generated over $d$ rounds; one query at a time. In each round, a query can be chosen adaptively based on all the history of previous queries and answers. We give an algorithm for this problem with optimal $L_{\infty}$ estimation error (worst error in the estimated values for the queries w.r.t. the data distribution). Our bound matches a lower bound on the $L_{\infty}$ error for the offline version of this problem [Duchi et al. 2013].

研究の動機と目的

• 特にd ≫ nとなる高次元設定において、局所的微分プライバシー（LDP）下での正確な線形クエリ推定の課題に対処すること。
• LDP制約下でのオフライン（非適応的）および適応的クエリ設定の両方に対して、効率的なアルゴリズムを開発すること。
• 有利な設定において次元dに依存しないtightなL₂およびL∞推定誤差バウンドを達成すること。
• 既知の下界に一致する理論的保証を提供し、適応的設定における最適性を示すこと。
• 従来のLDP下での分布推定および平均推定に関する研究を包含し、それらを改善すること。

提案手法

• 凸多面体へのL₂射影と拒否サンプリングを組み合わせることで、プライバシーと正確性を保証する新しいオフラインアルゴリズムを提案する。
• 各ユーザーのデータに対して、適切に調整されたノイズを備えた確率的応答メカニズムを用い、局所的微分プライバシーを満たす。
• 適応的設定では、ユーザーを一様ハッシュによってラウンドにランダムに割り当て、各クエリが新規サブサンプルで回答されるようにプロトコルを設計する。
• 濃度不等式を用いて、ユーザーが適切にパーティショニングされた条件のもとでのラウンド間平均応答のL∞推定誤差をバウンドする。
• チェルノフ不等式を用いて、高確率で各ラウンドに少なくともn/(2d)人のアクティブユーザーが存在することを示し、正確な推定を可能にする。
• 平均応答のサブガウス型尾部解析を用いて誤差バウンドを導出し、√(d log d / n)のスケーリングで最適なL∞誤差が得られることを示す。

実験結果

リサーチクエスチョン

• RQ1 高次元設定において、LDP下の線形クエリ推定は次元dに依存しない誤差を達成できるか？
• RQ2 適応的LDP設定下での線形クエリ推定において、最適なL∞推定誤差は何か？
• RQ3 L₂射影と拒否サンプリングをどのように組み合わせることで、オフラインLDPクエリ推定の正確性を向上させられるか？
• RQ4 既存のLDPアルゴリズム（例：ASZ18）の出力を単体上に射影することで、ドメインサイズJに対する誤差依存を対数未満に抑えることができるか？
• RQ5 LDPに基づく線形クエリ推定において、プライバシー、正確性、次元性の間の根本的トレードオフは何か？

主な発見

• オフライン設定では、n ≲ d² / log Jの条件下で、L₂推定誤差がdに依存しない（log¹ᐟ⁴ Jの要因を除いて）。
• 分布推定において、ASZ18の出力を単体上に射影すると、n ≲ J² / log Jの条件下でL₂誤差がJに対して対数未満に依存するようになる。
• 適応的設定では、提案プロトコルがO(c_ε r √(d log d / n))のL∞推定誤差を達成し、オフラインLDPの既知の下界に一致する。
• アルゴリズムは高確率（1 - o(1)）で、各ラウンドに少なくともn/(2d)人のアクティブユーザーが存在することを保証し、濃度に基づく誤差バウンドを可能にする。
• n ≥ 8d log nの条件下で、誤差バウンドは√(d log d / n)項が支配的となり、2次項は無視可能になる。
• 解析により、適応的プロトコルがL∞誤差の観点で最適であることが確認され、DJW13bのオフライン問題における下界と一致する。