[論文レビュー] From Robustness to Privacy and Back

Hilal Asi, Jonathan Ullman+1 more|arXiv (Cornell University)|Feb 3, 2023

Privacy-Preserving Technologies in Data被引用数 5

ひとこと要約

本稿では、逆感度メカニズムを用いて、頑健性と微分プライバシー（DP）の両方のアルゴリズムの間で双方向変換を提示する。連続的出力のための滑らかな逆感度メカニズムを導入し、任意の頑健なアルゴリズムが同等の誤差でε-DPアルゴリズムに変換可能であり、逆にそれも成り立つことを証明する。これにより、データの損傷と微分プライバシー制約の下での統計的推定において、頑健性とプライバシーの深い双対性が確立される。

ABSTRACT

We study the relationship between two desiderata of algorithms in statistical inference and machine learning: differential privacy and robustness to adversarial data corruptions. Their conceptual similarity was first observed by Dwork and Lei (STOC 2009), who observed that private algorithms satisfy robustness, and gave a general method for converting robust algorithms to private ones. However, all general methods for transforming robust algorithms into private ones lead to suboptimal error rates. Our work gives the first black-box transformation that converts any adversarially robust algorithm into one that satisfies pure differential privacy. Moreover, we show that for any low-dimensional estimation task, applying our transformation to an optimal robust estimator results in an optimal private estimator. Thus, we conclude that for any low-dimensional task, the optimal error rate for $\varepsilon$-differentially private estimators is essentially the same as the optimal error rate for estimators that are robust to adversarially corrupting $1/\varepsilon$ training samples. We apply our transformation to obtain new optimal private estimators for several high-dimensional tasks, including Gaussian (sparse) linear regression and PCA. Finally, we present an extension of our transformation that leads to approximate differentially private algorithms whose error does not depend on the range of the output space, which is impossible under pure differential privacy.

研究の動機と目的

• 統計的推定における頑健性と微分プライバシーの間の正式な双対性を確立すること。
• 連続関数のためのプライバシー保護出力を可能にする滑らかな逆感度メカニズムを開発すること。
• 任意の頑健なアルゴリズムが、類似した誤差境界を持つ微分プライバシー保証付きに変換可能であることを示すこと。
• データ直径に依存性を改善するための、近似DP用の切り捨てられた逆感度メカニズムを提供すること。
• 私的アルゴリズムが本質的に頑健性の性質を有することを示し、双対性を完成させること。

提案手法

• ρ-滑らかさを持つ逆感度メカニズムを用い、確率密度関数を exp(−ε·len^ρ(S;t)/2) に比例させる。ここで len^ρ は、f(S') が t から ρ 以内に収まるように変更する必要のある最小のデータポイント数を表す。
• 局所連続性モジュラス ω_f(S;K) を、K-ハミング距離内での摂動 S' に対する f(S) と f(S') の最大偏差として定義する。
• スコア関数として ρ-滑らかさを持つパス長関数を用いた指数メカニズムを適用し、ε-微分プライバシーを保証する。
• 逆感度が ≤ K である値のみを出力する切り捨てられた逆感度メカニズムを導入し、(ε,δ)-DP におけるプライバシー保証を向上させる。
• 入力が妥当であるかを事前に検証するプライベートテストを用い、制限付き指数メカニズムフレームワークにより (ε,δ)-IND を保証する。
• 入力が「悪い」集合 S_bad に属さない限り、誤差が高確率で ≤ 3B であり、(ε,δ)-区別不能性を満たすことを証明する。

実験結果

リサーチクエスチョン

• RQ1 頑健なアルゴリズムを、同等の誤差で系統的に微分プライバシー保証付きに変換できるか？
• RQ2 逆感度メカニズムは、統計的推定における頑健性とプライバシーのギャップをどのように埋めるか？
• RQ3 連続的出力に ρ-滑らかさを持つ逆感度メカニズムを用いる際の誤差-プライバシートレードオフは何か？
• RQ4 逆感度関数を切り捨てることで、近似DPにおいてデータ直径に依存しないようにできるか？
• RQ5 すべての微分プライバシー保証付きアルゴリズムは本質的に頑健であるとされるが、その条件は何か？

主な発見

• ρ-滑らかさを持つ逆感度メカニズムは、出力ノルムが ≤ R である連続関数に対して、(1−β)確率での誤差バウンドを ω_f(S; (2(d log(R/ρ + 1) + log(1/β))/ε)) + ρ に保証する。
• 任意の (τ,β,α)-頑健性を持つアルゴリズムに対して、変換後の ε-DP メカニズムは、τ ≥ 2(d log(R/α₀ + 1) + log(1/β))/nε を満たす限り、確率 ≥ 1−2β で誤差 ≤ 4α を達成する。
• 切り捨てられた逆感度メカニズムは (ε,δ)-DP を達成し、S_bad に属さない入力に対して誤差 ≤ 3B を達成する。ここで ω_f(S;K+1) ≤ B である。
• 頑健からプライベートへの変換は、誤差を定数倍（4倍）以内に保つため、タイトな双対性を示している。
• 本稿では、任意の ε-DP アルゴリズムが本質的に頑健であることを確立し、双対性の逆方向を確認した。
• 近似DPにおいて、切り捨てとプライベートテストを用いることで、直径 R に依存しない方法を実現し、スケーラビリティを向上させた。