[論文レビュー] A bounded-noise mechanism for differential privacy

Yuval Dagan, Gil Kur|arXiv (Cornell University)|Dec 7, 2020

Privacy-Preserving Technologies in Data参考文献 23被引用数 7

ひとこと要約

本稿では、$(\epsilon,\delta)$-微分プライバシーに対して、各クエリの回答に独立同一分布に従う有界なノイズを追加する、有界ノイズ機構を提示する。この機構は、確率1で漸近的に最適な誤差 $O(\Delta\sqrt{k\log(1/\delta)}/\epsilon)$ を達成する。この研究は、誤差が無限大に達する可能性がある非有界な機構とは異なり、有限の誤差境界を提供するという未解決の問題を解決する。また、適応的クエリ設定におけるノイズレベルの理論的下界と一致する。

ABSTRACT

We present an asymptotically optimal $(ε,δ)$ differentially private mechanism for answering multiple, adaptively asked, $Δ$-sensitive queries, settling the conjecture of Steinke and Ullman [2020]. Our algorithm has a significant advantage that it adds independent bounded noise to each query, thus providing an absolute error bound. Additionally, we apply our algorithm in adaptive data analysis, obtaining an improved guarantee for answering multiple queries regarding some underlying distribution using a finite sample. Numerical computations show that the bounded-noise mechanism outperforms the Gaussian mechanism in many standard settings.

研究の動機と目的

• 適応的かつ $\Delta$-感受性を持つクエリに対して、$(\epsilon,\delta)$-微分プライバシーの下で、漸近的に最適な有界ノイズ機構が存在するかどうかという未解決問題を解決すること。
• 誤差が高確率ですら無限大に達する可能性がある非有界なノイズ分布（例：ガウス分布、ラプラス分布）への依存を排除すること。
• すべてのクエリに対して保証された絶対誤差境界（すなわち、確率1で誤差 $\leq O(R)$）を提供する機構を設計し、実用的な信頼性と数値的安定性を向上させること。
• i.i.d. 有界ノイズが、$\delta \geq e^{-k/\log^2 k \log^4 \log k}$ の条件下で、SteinkeとUllman（2020）が示した理論的下界と一致する最適なノイズレート $O(R)$ を達成できることを示すこと。

提案手法

• 対称的かつ対数凸性を持つ確率密度関数 $p_R$ に従う、$[-R,R]$ の範囲で有界なノイズを独立同一に生成し、各クエリに対してノイズを追加することで、有限の誤差を保証する。
• プライバシー損失確率変数のモーメント生成関数（MGF）に基づく、新たなプライバシー認証技術を用い、$(\epsilon,\delta)$-DP の厳密な検証を可能にする。
• プライバシー損失を有界にするために、ノイズ分布の裾を閾値 $L$ で切り詰め、尾確率の補正項を導入する。
• 与えられたプライバシーパラメータを満たす最小のノイズ振幅 $R$ を求めるために、二分探索アルゴリズムを用いる。
• MGFに基づく境界の凸最適化を用いて、プライバシー損失の尾確率に対するタイトな上界を計算する。
• MGFと尾確率の計算において片側誤差境界を用いることで、数値的安定性を確保し、プライバシー保証の正しさを保証する。

実験結果

リサーチクエスチョン

• RQ1 独立同一分布に従う有界ノイズを用いた微分プライバシー機構は、適応的クエリに対して、漸近的に最適な誤差レート $O(\Delta\sqrt{k\log(1/\delta)}/\epsilon)$ を達成できるか？
• RQ2 有限で絶対的な誤差境界（すなわち、確率1で誤差 $\leq O(R)$）を保証する機構を構築することは可能か？ また、最適なプライバシー・ユーティリティトレードオフを維持できるか？
• RQ3 実用的状況において、ガウス機構などの非有界な機構よりも、有界ノイズ機構が数値的安定性と誤差制御の観点で優れていると期待できるか？
• RQ4 特に、対数凸密度関数を持つ特化した有界ノイズ分布を用いることで、標準分布の切断版よりも優れたプライバシー・ユーティリティトレードオフが得られるか？

主な発見

• 提案された有界ノイズ機構は、$\delta \geq e^{-k/\log^2 k \log^4 \log k}$ の条件下で、確率1で誤差境界 $O(\Delta\sqrt{k\log(1/\delta)}/\epsilon)$ を達成し、理論的下界と一致する。
• この機構は i.i.d. 有界ノイズを用いるため、いかなるクエリに対しても最悪ケース誤差を超えることはなく、非有界な機構とは顕著な利点を有する。
• 数値的結果から、標準的な設定において、有界ノイズ機構はガウス機構を上回ることが示された。特に誤差の分散と一貫性において優れた性能を発揮する。
• MGFと尾確率に基づくプライバシー認証アルゴリズムにより、近似誤差を制御しつつ、正確で検証可能なプライバシー保証が可能である。
• MGFと尾確率推定における片側誤差境界を用いることで、与えられたプライバシー予算に対して必要な最小ノイズ振幅 $R$ を二分探索で計算可能であり、正しさが保証される。
• この機構は適応的クエリワークロードに対して強く、最適な漸近的誤差スケーリングを維持する。これにより、微分プライバシー分野における長年の未解決問題が解決された。