[論文レビュー] Minimax Rates of Estimating Approximate Differential Privacy

Xiyang Liu, Sewoong Oh|arXiv (Cornell University)|May 24, 2019

Privacy-Preserving Technologies in Data参考文献 47被引用数 5

ひとこと要約

本稿では、メカニズムへのブラックボックスアクセスを用いて、$(\varepsilon, \delta)$-微分プライバシー保証を近似するデータ駆動型でミニマックス最適な推定器を提案する。多項式近似を活用してバイアスと分散のバランスをとることで、有効な標本サイズの拡大を達成し、プラグイン推定器よりも$\ln n$要因の標本効率で優れている。また、一致する下界を用いてミニマックス最適性を証明する。

ABSTRACT

Differential privacy has become a widely accepted notion of privacy, leading to the introduction and deployment of numerous privatization mechanisms. However, ensuring the privacy guarantee is an error-prone process, both in designing mechanisms and in implementing those mechanisms. Both types of errors will be greatly reduced, if we have a data-driven approach to verify privacy guarantees, from a black-box access to a mechanism. We pose it as a property estimation problem, and study the fundamental trade-offs involved in the accuracy in estimated privacy guarantees and the number of samples required. We introduce a novel estimator that uses polynomial approximation of a carefully chosen degree to optimally trade-off bias and variance. With $n$ samples, we show that this estimator achieves performance of a straightforward plug-in estimator with $n \ln n$ samples, a phenomenon referred to as effective sample size amplification. The minimax optimality of the proposed estimator is proved by comparing it to a matching fundamental lower bound.

研究の動機と目的

• 実際の応用において、メカニズムが設計上または実装上の誤りを含む可能性がある場合に、$(\varepsilon, \delta)$-微分プライバシー保証を検証するという重要な課題に対処すること。
• メカニズムの内部論理にアクセスできない状況でも、データ駆動型でブラックボックスな方法によりプライバシー保証を推定すること。
• 微分プライバシーのパラメータを推定する際の、推定の正確さと標本複雑さの根本的トレードオフを特定すること。
• 推定誤差の上界と一致する根本的な下界を導出し、提案された推定器のミニマックス最適性を確立すること。

提案手法

• 本手法は、近似DP発散 $d_\varepsilon(P\|Q) = \sum_{i=1}^S [p_i - e^\varepsilon q_i]^+$ を用いて、プライバシー推定を性質推定問題として定式化する。
• 関数 $f(x) = [1 - e^\varepsilon x]^+$ の$f$-発散関数の多項式近似に基づく新規推定器を導入し、バイアスと分散のバランスを最適化するために多項式の次数を慎重に選択する。
• 推定器は、$n$ 個のブラックボックス標本からの経験的分布を用いて真の発散を近似し、バイアスと分散に関する理論的保証を備える。
• 主要な技術的要素として、近似誤差を制御し、濃度限界を導出するために、チェビシェフ型多項式近似が用いられる。
• 推定誤差の上界と一致する下界を構築することで、ミニマックス最適性を証明する。
• 推定誤差を制御するために、濃度不等式と近似関数の$ L_2 $-ノルムの導関数に関する境界を分析に用いる。

実験結果

リサーチクエスチョン

• RQ1 ブラックボックスアクセスから$(\varepsilon, \delta)$-微分プライバシー保証を推定するために必要な標本複雑さの根本的限界は何か？
• RQ2 非パラメトリックでデータ駆動型の推定器は、標準的なプラグイン推定器よりもプライバシー推定において高い標本効率を達成できるか？
• RQ3 近似DP発散を推定する際、バイアスと分散をどのように最適にトレードオフできるか？
• RQ4 プライバシー推定に対してミニマックス最適な推定器は存在するか？ また、多項式近似を用いてそのような推定器を構築できるか？
• RQ5 提案された推定器は、プラグイン法に比べてどの程度の有効な標本サイズ拡大を達成するか？

主な発見

• 提案された推定器は、プラグイン推定器が$ n \ln n $ 個の標本を必要とする場合と同等の標本複雑さを達成し、$\ln n$ 要因の有効な標本サイズ拡大を実現する。
• 推定誤差の上界と一致する根本的な下界が導出されたことから、推定器はミニマックス最適である。
• 本手法は、実世界のメカニズムにおけるデータ駆動型の検証ツールを提供し、設計や実装における誤ったプライバシー主張の検出を可能にする。
• 近似DP発散の推定誤差が $ O\left(\sqrt{\frac{c_1 \ln n}{n}}\right) $ で有界であることが分析で確立され、定数はメカニズムの出力分布に依存する。
• 本手法は高次元の出力空間に対してもロバストであり、純粋な微分プライバシーを越えて、より一般的な近似DP設定へと拡張可能である。
• 本手法は、プライバシー推定と多項式近似の根本的関係を明らかにし、プライバシー文脈における非パラメトリック発散推定の新たな枠組みを提供する。