[論文レビュー] On the Privacy Properties of Variants on the Sparse Vector Technique

Yan Chen, Ashwin Machanavajjhala|arXiv (Cornell University)|Aug 28, 2015

Privacy-Preserving Technologies in Data参考文献 5被引用数 24

ひとこと要約

この論文は、正の回答数に依存しない強力な微分プライバシーを提供すると主張される、スパースベクトル技法の変種である一般化されたプライベート閾値テスト（GPTT）を批判的に分析している。著者らは、GPTTがε-微分プライバシーを満たさないことを示しており、これは先行研究のプライバシー解析に欠陥があることによるものである。また、新規の再構築攻撃を用いて、攻撃者はGPTTの出力を活用し、小さなカウントのセル値を95％以上の正確さで再構築可能であることを示しており、GPTTはプライベートデータ公開に不適切であることが判明した。

ABSTRACT

The sparse vector technique is a powerful differentially private primitive that allows an analyst to check whether queries in a stream are greater or lesser than a threshold. This technique has a unique property -- the algorithm works by adding noise with a finite variance to the queries and the threshold, and guarantees privacy that only degrades with (a) the maximum sensitivity of any one query in stream, and (b) the number of positive answers output by the algorithm. Recent work has developed variants of this algorithm, which we call {\em generalized private threshold testing}, and are claimed to have privacy guarantees that do not depend on the number of positive or negative answers output by the algorithm. These algorithms result in a significant improvement in utility over the sparse vector technique for a given privacy budget, and have found applications in frequent itemset mining, feature selection in machine learning and generating synthetic data. In this paper we critically analyze the privacy properties of generalized private threshold testing. We show that generalized private threshold testing does not satisfy ε-differential privacy for any finite ε. We identify a subtle error in the privacy analysis of this technique in prior work. Moreover, we show an adversary can use generalized private threshold testing to recover counts from the datasets (especially small counts) exactly with high accuracy, and thus can result in individuals being reidentified. We demonstrate our attacks empirically on real datasets.

研究の動機と目的

• 一般化されたプライベート閾値テスト（GPTT）のプライバシー保証を調査すること。
• 先行研究で提示されたGPTTのプライバシー解析における欠陥を特定すること。
• GPTTが悪用可能であり、高精度で機微なデータカウントを再構築できることを実証すること。
• 実世界のプライベートデータ公開システムでGPTTが使用された場合の再識別リスクを評価すること。

提案手法

• 著者らは、GPTTのプライバシー証明における重大な誤りを特定し、隣接するデータベースにおける1行の変更に対して出力が感度を持たないという仮定が成り立たないことを示した。
• GPTTの出力分布がε-微分プライバシー条件を破る隣接データベースの明示的例を構築した。
• 反復的パーティショニングとノイズカウント推定を活用して、GPTTの出力を用いて真のカウントを推定する攻撃アルゴリズムを設計した。
• データセット構造の事前知識がなくても利用可能な第二の攻撃バージョンを提案した。この攻撃は、プライバシー予算を分割し、まずパーティションを推定し、その後グループごとの平均カウントを推定することでカウントを再構築する。
• 実データセット（Adult、MedicalCost、Income、HEPTH）を用いて、さまざまなプライバシー予算（ε = 1.0、0.5、0.1）を用いて実験的評価を実施し、再構築精度を測定した。
• 攻撃は、スケール1/ε₂のラプラスノイズを用いて各パーティションの合計カウントを推定し、グループごとの平均カウントを丸めることで個々のセルカウントを回復した。

実験結果

リサーチクエスチョン

• RQ1 一般化されたプライベート閾値テスト（GPTT）は、任意の有限εに対してε-微分プライバシーを満たすか？
• RQ2 先行研究で提示されたGPTTのプライバシー解析に、具体的にどのような欠陥が存在するか？
• RQ3 攻撃者はGPTTの出力のみを用いて、データセット内のセルの真のカウントを再構築可能か？
• RQ4 GPTTを用いて、小さなカウントのセル（例：[0,5]）をどの程度の正確さで再構築できるか？
• RQ5 プライバシー予算εが、再構築攻撃の実行可能性と正確さにどの程度影響を与えるか？

主な発見

• 一般化されたプライベート閾値テスト（GPTT）は、任意の有限εに対してε-微分プライバシーを満たさない。これは先行研究の主張と矛盾する。
• GPTTのプライバシー証明におけるわずかな誤りが、その主張するプライバシー保証を無効としている。出力は、隣接データベースにおける1行の変更に対して感度を持たない。
• 攻撃者は、データセット構造の事前知識がなくても、小カウントのセル（[0,5]内）の95％以上を高精度で再構築可能である。
• 実データセットを用いた評価では、ε = 1.0の設定下で、すべてのセルの90％以上が正しく再構築され、小カウントセルでは95％以上が正しく再構築された。
• プライバシー予算εが小さくなると、再構築精度は低下する。主な要因は、粗いパーティショニングとカウント推定におけるノイズの増加である。
• 結果として、GPTTをプライバシーの根幹に据えるシステムは、特に低頻度データに対して再識別攻撃の脅威にさらされていることが示された。