[論文レビュー] Asymptotically optimal private estimation under mean square loss

Min Ye, Alexander Barg|arXiv (Cornell University)|Jul 31, 2017

Privacy-Preserving Technologies in Data参考文献 16被引用数 10

ひとこと要約

本稿は、局所的微分プライバシー下での離散分布に対するプライベートにプライバシーを保護した推定スキームの漸近的最適性を確立する。ガウス近似とフィッシャー情報行列の解析を活用することで、提案スキームの最悪ケースの平均二乗推定損失が、標本数が増加するにつれて理論的最適値に収束することを証明し、先行研究の順序最適境界に存在する定数倍のギャップを解消する。

ABSTRACT

We consider the minimax estimation problem of a discrete distribution with support size $k$ under locally differential privacy constraints. A privatization scheme is applied to each raw sample independently, and we need to estimate the distribution of the raw samples from the privatized samples. A positive number $ε$ measures the privacy level of a privatization scheme. In our previous work (arXiv:1702.00610), we proposed a family of new privatization schemes and the corresponding estimator. We also proved that our scheme and estimator are order optimal in the regime $e^ε \ll k$ under both $\ell_2^2$ and $\ell_1$ loss. In other words, for a large number of samples the worst-case estimation loss of our scheme was shown to differ from the optimal value by at most a constant factor. In this paper, we eliminate this gap by showing asymptotic optimality of the proposed scheme and estimator under the $\ell_2^2$ (mean square) loss. More precisely, we show that for any $k$ and $ε,$ the ratio between the worst-case estimation loss of our scheme and the optimal value approaches $1$ as the number of samples tends to infinity.

研究の動機と目的

• 既存の順序最適プライベート推定スキームと、平均二乗損失下での理論的ミニマックス下界との間のギャップを埋めること。
• n → ∞ のとき、すべてのkおよびεに対してミニマックスプライベート推定損失の漸近的タイトネスを確立すること。
• 最悪ケース推定損失が最適値に収束することを厳密に証明し、先行研究における定数倍のギャップを解消すること。
• ℓ₂²（平均二乗）損失下での順序最適性の先行研究を、完全な漸近的最適性へと拡張すること。
• 大標本解析と後方分布のガウス近似を用いて、提案されたプライバシズムスキームと推定量の妥当性を厳密に検証すること。

提案手法

• e^ε ≪ k の領域で既に順序最適であることが示された、プライバシズムスキームと対応する推定量の族を提案する。
• 後方分布の解析を簡素化するため、出力アルファベットの縮小を適用する。
• 大標本領域における推定誤差分布をモデル化するために、後方密度 f_{U|Yⁿ} のガウス近似を用いる。
• 局所漸近正規性（LAN）理論に依拠し、対数尤度比をフィッシャー情報行列 I(1/k, ..., 1/k) に結びつける。
• フィッシャー情報行列を含む二次形式による、対数尤度比 g(u, yⁿ) の一様近似を確立し、損失の精密な特徴付けを可能にする。
• 後方分散の解析と、δ ≥ δ₀ および δ < δ₀ の両ケースにおける大偏差理論を活用して、ミニマックス推定損失の漸近的タイトな下界を導出する。

実験結果

リサーチクエスチョン

• RQ1 提案されたプライバシズムスキームは、標本数が無限大に近づく際、ミニマックス平均二乗推定損失において漸近的最適性を達成するか？
• RQ2 このスキームの最悪ケース推定損失が、すべてのkおよびεに対して理論的下界に収束することが示せるか？
• RQ3 フィッシャー情報行列は、局所的微分プライバシー下での後方分布の漸近的挙動を特徴付ける上で果たす役割は何か？
• RQ4 大標本領域において、推定誤差の後方分布をガウスモデルでどのように近似できるか？
• RQ5 先行の順序最適境界と真のミニマックス損失との間の定数倍ギャップが、漸近的極限で解消されるか？

主な発見

• 最悪ケース推定損失と最適値との比が、標本数nが無限大に近づくにつれて1に収束することを示し、漸近的最適性を証明する。
• 提案されたプライバシズムスキームと推定量は、e^ε ≪ k の領域に限らず、すべてのkおよびεに対してミニマックス平均二乗損失において漸近的タイトネスを達成する。
• フィッシャー情報行列 I(1/k, ..., 1/k) が、後方分布のガウス近似における二次項を支配する行列 Φ(n, Q) に等しいことが示される。
• 対数尤度比 g(u, yⁿ) が、スコア関数とフィッシャー情報行列を含む二次形式によって漸近的に近似可能であり、局所漸近正規性が確認される。
• すべての分布にわたる推定誤差に一様なバインドを確立し、誤差分布が真のパラメータを中心とし、フィッシャー情報行列の逆行列を分散共分散行列とするガウス分布に収束することを示す。
• 本研究で導出された漸近的下界はタイトであり、これは極限において実際の最悪ケース損失と一致することを示し、長年の順序最適境界におけるギャップを解消する。