[論文レビュー] Average-Case Averages: Private Algorithms for Smooth Sensitivity and Mean Estimation

Mark Bun, Thomas Steinke|arXiv (Cornell University)|Jun 6, 2019

Privacy-Preserving Technologies in Data被引用数 25

ひとこと要約

本稿では、プライベートな平均推定のための、インスタンス依存のノイズ分布（ラプラス対数正規分布、アークシンヒューベル・ノルム、一様対数正規分布）を、滑らかな感度にスケーリングすることで提案する。トリムド・ミーン推定量とこれらのノイズ機構を用いることで、集中型微分プライバシー下で、標準的手法と比較して顕著に低い分散を達成し、n=1001のサンプルにおいて、非プライベートな分散の10%にまで過剰誤差を削減する。

ABSTRACT

The simplest and most widely applied method for guaranteeing differential privacy is to add instance-independent noise to a statistic of interest that is scaled to its global sensitivity. However, global sensitivity is a worst-case notion that is often too conservative for realized dataset instances. We provide methods for scaling noise in an instance-dependent way and demonstrate that they provide greater accuracy under average-case distributional assumptions. Specifically, we consider the basic problem of privately estimating the mean of a real distribution from i.i.d.~samples. The standard empirical mean estimator can have arbitrarily-high global sensitivity. We propose the trimmed mean estimator, which interpolates between the mean and the median, as a way of attaining much lower sensitivity on average while losing very little in terms of statistical accuracy. To privately estimate the trimmed mean, we revisit the smooth sensitivity framework of Nissim, Raskhodnikova, and Smith (STOC 2007), which provides a framework for using instance-dependent sensitivity. We propose three new additive noise distributions which provide concentrated differential privacy when scaled to smooth sensitivity. We provide theoretical and experimental evidence showing that our noise distributions compare favorably to others in the literature, in particular, when applied to the mean estimation problem.

研究の動機と目的

• i.i.d.データにおける平均推定のための微分プライバシーにおけるグローバル感度の過剰保守的特性を是正すること。
• 滑らかな感度を介してインスタンス依存感度を活用することで、プライベートな平均推定におけるノイズ分散を低減すること。
• 集中型微分プライバシーを満たすが、低感度と強い尾部挙動を維持する新しいノイズ分布を設計すること。
• トリムド・ミーン推定量が統計的精度とプライバシー感度の間で有利なトレードオフを提供することを示すこと。
• 理論的および実験的証拠を提供し、インスタンス依存ノイズが平均ケース設定において標準的なラプラス／ガウス機構を上回ることを示すこと。

提案手法

• 一様なサポートを持つi.i.d.データに対する、経験的平均の代替として、ロバストで低感度なトリムド・ミーン推定量を導入する。
• Nissim, Raskhodnikova, and Smith (2007) の滑らかな感度フレームワークを再考し、インスタンス依存ノイズのキャリブレーションを可能にする。
• 集中型微分プライバシーを満たすように設計された、3つの新しい加法的ノイズ分布（ラプラス対数正規分布、アークシンヒューベル・ノルム、一様対数正規分布）を提案する。これらの分布は滑らかな感度にスケーリングされる。
• 滑らかな感度フレームワークを用いてプライバシー保証の解析的バウンディングを導出し、新しいノイズ分布が集中型微分プライバシーを満たすことを証明する。
• 数値最適化を用いて、さまざまなデータセットサイズとプライバシー水準において、各ノイズ分布の最適なスムージングパラメータ（t）と形状パラメータ（σ）を選択する。
• 同等のプライバシー緩和（例：(ε,0)、ε²/2-CDP、(ε,10⁻⁶)）下で、分散を主な指標として、ノイズ分布間の性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 滑らかな感度によるインスタンス依存ノイズスケーリングは、グローバル感度ベースの手法と比較して、プライベートな平均推定における分散を低減できるか？
• RQ2 ラプラス対数正規分布、アークシンヒューベル・ノルム、一様対数正規分布という新しいノイズ分布は、集中型微分プライバシー下でプライバシーと分散の両面でどのように性能を発揮するか？
• RQ3 トリムド・ミーン推定量は、プライベートな平均推定における統計的精度と感度のトレードオフをどの程度改善するか？
• RQ4 同等のプライバシー緩和下で、提案手法はラプラス、ガウス、スチューデントのt分布といった既存のメカニズムと比較してどの程度優れているか？
• RQ5 トリミングレベルとスムージングパラメータの影響は、プライベートな平均推定器の分散とプライバシーにどの程度及ぶか？

主な発見

• n=201、ε=1の場合、提案手法は非プライベートな経験的平均と比較して、分散がわずか2倍にとどまる。
• n=1001の場合、プライバシーに起因する過剰分散は、非プライベートな分散のわずか10%にまで削減され、ほぼ最適な精度を達成する。
• ラプラス対数正規分布ノイズは、全テストメカニズムの中で最も低い分散を達成し、次いでスチューデントのt分布がそれに続ぐ。
• 一様対数正規分布は、その重尾特性と最適でない感度スケーリングのため、性能が著しく劣る。
• データが正規性から逸脱する場合、トリムド・ミーン推定量は経験的平均よりも分散をより効果的に低減し、ロバスト性が向上する。
• 提案されたノイズ分布は、有限のモーメントと準多項式的尾部を有し、プライバシー強度と尾部挙動の間で望ましいバランスを実現している。