[論文レビュー] Differential privacy and robust statistics in high dimensions

Xiyang Liu, Weihao Kong+1 more|arXiv (Cornell University)|Nov 12, 2021

Privacy-Preserving Technologies in Data参考文献 78被引用数 6

ひとこと要約

この論文は、高次元における微分プライバシー推定のための普遍的フレームワークであるHigh-dimensional Propose-Test-Release (HPTR) を導入する。指数型マップ、ロバスト統計、レジリエンスに基づく感度解析を組み合わせることで、最小限の仮定のもとで平均推定、線形回帰、共分散推定、主成分分析において、ほぼ最適の標本量複雑性を達成する。

ABSTRACT

We introduce a universal framework for characterizing the statistical efficiency of a statistical estimation problem with differential privacy guarantees. Our framework, which we call High-dimensional Propose-Test-Release (HPTR), builds upon three crucial components: the exponential mechanism, robust statistics, and the Propose-Test-Release mechanism. Gluing all these together is the concept of resilience, which is central to robust statistical estimation. Resilience guides the design of the algorithm, the sensitivity analysis, and the success probability analysis of the test step in Propose-Test-Release. The key insight is that if we design an exponential mechanism that accesses the data only via one-dimensional robust statistics, then the resulting local sensitivity can be dramatically reduced. Using resilience, we can provide tight local sensitivity bounds. These tight bounds readily translate into near-optimal utility guarantees in several cases. We give a general recipe for applying HPTR to a given instance of a statistical estimation problem and demonstrate it on canonical problems of mean estimation, linear regression, covariance estimation, and principal component analysis. We introduce a general utility analysis technique that proves that HPTR nearly achieves the optimal sample complexity under several scenarios studied in the literature.

研究の動機と目的

• 最小限の仮定のもとで、微分プライバシー推定の統計的効率を特徴づけるギャップを埋める。
• 高次モーメントやパrameterの境界に関する知識を必要とせず、多様な高次元推定問題に適用可能な統一的フレームワークを構築する。
• 指数型マップにおける1次元ロバスト統計に制限されたデータアクセスを通じて、局所感度を最小化し、タイトなユーティリティ保証を達成する。
• 平均推定、線形回帰、共分散、PCA といった代表的な問題へのフレームワークの適用法を一般化するレシピを提供する。
• サブガウス型、ハイパーコントラクト型、有界共分散分布の各分布において、HPTRがほぼ最適な標本量複雑性を達成できることを示す。

提案手法

• 局所感度を低減するために、ロバストな1次元統計に基づくスコア関数を用いた指数型マップを活用する。
• 補助的スコア関数の設計と感度解析を導く中心的役割を果たすレジリエンスを導入する。
• 候補推定値の妥当性を検証するために、Propose-Test-Release手法を適用し、プライバシーとユーティリティを保証する。
• 有界体積とレジリエンスの性質を用いて、タイトな局所感度の上限を導出する。
• パッキングの議論を用いて推定問題を仮説検定問題に還元することで、下界を証明する。
• 安全マージンとレジリエンスに基づくロバスト性保証を用いて、一般化されたユーティリティ解析を実施する。

実験結果

リサーチクエスチョン

• RQ1 1つのフレームワークが、複数の問題タイプにわたり、微分プライバシー推定におけるほぼ最適な標本量複雑性を達成できるか。
• RQ2 ロバスト統計におけるレジリエンスは、局所感度を束縛し、微分プライバシーアルゴリズムのユーティリティを向上させるためにどのように利用できるか。
• RQ3 微分プライバシー推定において最適な統計的効率を達成するために必要な最小限の仮定は何か。
• RQ4 高次元において、指数型マップを効率的にするには、データへのアクセスを1次元ロバスト統計に制限することでどれほど達成できるか。
• RQ5 効率的でないアルゴリズムと最適なアルゴリズムの間の標本量複雑性のギャップは、根本的であるのか、それとも解消可能か。

主な発見

• サブガウス型平均推定において、HPTRは $ O(d/\beta^2 + d/(\beta \tfrac{1}{\beta})) $ の標本数でほぼ最適な標本量複雑性を達成し、情報理論的下界と対数要因を除いて一致する。
• ハイパーコントラクト型分布では、HPTRは $ O(d/\beta^2 + d/(\beta \tfrac{1}{\beta})) $ の標本数で誤差 $ \tilde{O}(\beta) $ を達成し、タイトさが示される。
• フレームワークは、ガウス分布や共分散有界族を含む複数の分布において、ほぼ最適な標本量複雑性を達成することを示す一般化されたユーティリティ解析を提供する。
• レジリエンスにより、タイトな局所感度の上限が得られ、これが高次元設定において特に顕著なユーティリティ向上に直結する。
• 解析により、平均推定における効率的でないアルゴリズムと最適なアルゴリズムの間の $ d^{1/2} $ のギャップは、根本的である可能性が示され、HPTRが最適な $ O(d/(\beta \tfrac{1}{\beta})) $ 項を達成している。
• パッキングとテスト還元を用いて導出された下界により、HPTRのユーティリティが、$ (\tfrac{1}{\beta}, \tfrac{1}{\beta}) $-DP でさえもほぼ最適であることが確認され、$ k $-次のモーメントが有界な分布では誤差が $ \tilde{\theta}((d \tfrac{1}{\beta})^{1-2/k}) $ にスケーリングする。