[論文レビュー] When the signal is in the noise: Exploiting Diffix's Sticky Noise

Andrea Gadotti, Florimond Houssiau+3 more|arXiv (Cornell University)|Apr 18, 2018

Privacy-Preserving Technologies in Data被引用数 9

ひとこと要約

本論文は、EUプライバシー基準を満たすと主張するクエリベースの匿名化システムDiffixが、ノイズ活用攻撃に対して脆弱であることを示している。著者らは、Diffixのクエリ応答に内在するデータ依存的「スティッキー・ノイズ」を分析し、2つの攻撃——微分的攻撃とクローン攻撃——を考案した。これらの攻撃により、従来の考えでは不可能とされたほど少ないクエリ数で、プライベート属性を最大97.1％の正確さで推定可能であり、Diffix単体では堅牢な匿名化を保証できないことが示された。

ABSTRACT

Anonymized data is highly valuable to both businesses and researchers. A large body of research has however shown the strong limits of the de-identification release-and-forget model, where data is anonymized and shared. This has led to the development of privacy-preserving query-based systems. Based on the idea of "sticky noise", Diffix has been recently proposed as a novel query-based mechanism satisfying alone the EU Article~29 Working Party's definition of anonymization. According to its authors, Diffix adds less noise to answers than solutions based on differential privacy while allowing for an unlimited number of queries. This paper presents a new class of noise-exploitation attacks, exploiting the noise added by the system to infer private information about individuals in the dataset. Our first differential attack uses samples extracted from Diffix in a likelihood ratio test to discriminate between two probability distributions. We show that using this attack against a synthetic best-case dataset allows us to infer private information with 89.4% accuracy using only 5 attributes. Our second cloning attack uses dummy conditions that conditionally strongly affect the output of the query depending on the value of the private attribute. Using this attack on four real-world datasets, we show that we can infer private attributes of at least 93% of the users in the dataset with accuracy between 93.3% and 97.1%, issuing a median of 304 queries per user. We show how to optimize this attack, targeting 55.4% of the users and achieving 91.7% accuracy, using a maximum of only 32 queries per user. Our attacks demonstrate that adding data-dependent noise, as done by Diffix, is not sufficient to prevent inference of private attributes. We furthermore argue that Diffix alone fails to satisfy Art. 29 WP's definition of anonymization. [...]

研究の動機と目的

• Diffixの再識別を防ぐために設計されたデータ依存的ノイズ機構が、個人のプライベート属性を推定するために悪用可能かどうかを調査すること。
• 攻撃者による知識とクエリアクセスの現実的仮定のもとで、Diffixに対するノイズ活用攻撃の実現可能性を評価すること。
• Diffixが実際の運用において、EU第29条作業部会が定義する匿名化の基準を満たしているかどうかを評価すること。
• 微分プライバシーに依存しない防御の多層的戦略を提言し、匿名化システムの強化を図ること。

提案手法

• 補助情報に基づき、サンプリングされたクエリ応答に対する尤度比検定を用いて、プライベート属性を推定する微分的ノイズ活用攻撃を設計すること。
• ダミー条件をクエリに挿入することで出力ノイズを条件付きに変化させ、クエリ結果集合を変更せずにプライベート属性を推定可能なクローン攻撃を開発すること。
• グリーディアルゴリズムを用いてクローン攻撃を最適化し、1ユーザーあたりのクエリ数を最小限に抑えつつ、推定正確度を最大化すること。
• 4つの実世界データセット（例：移動履歴、健康、人口統計）および合成された最良ケースデータセットを用いて攻撃を評価し、正確さとクエリ効率を測定すること。
• Diffixのスティッキー・ノイズの分布を推定する統計モデルを構築し、攻撃パラメータをそれに合わせてキャリブレーションすること。
• 監査ログや入力検証などの防御の多層的原則を適用し、同定された攻撃ベクトルを緩和すること。

実験結果

リサーチクエスチョン

• RQ1 Diffixにおけるデータ依存的ノイズは、データセット内に存在する個人のプライベート属性を推定するために悪用可能か？
• RQ2 ターゲットに関する補助情報が限定的である場合、推定攻撃の正確さはどの程度達成可能か？
• RQ3 ノイズ活用技術を用いて、プライベート属性を高精度で推定するために必要な最小クエリ数はどれくらいか？
• RQ4 実装されたDiffixのスティッキー・ノイズ機構は、EU第29条作業部会が定義する匿名化の基準を満たしているか？
• RQ5 微分プライバシーに依存しない防御の多層的戦略は、ノイズ活用攻撃を効果的に緩和可能か？

主な発見

• 微分的ノイズ活用攻撃は、合成された最良ケースデータセットにおいて、5つの補助属性のみを用いて89.4％の正確さでプライベート属性を推定した。
• クローン攻撃は、4つの実世界データセットにおいて、少なくとも93％のユーザーに対してプライベート属性を推定可能であり、正確さは93.3％から97.1％の範囲に達した。
• 最適化されたクローン攻撃は、1ユーザーあたり最大32クエリで55.4％のユーザーを91.7％の正確さで標的とし、従来手法と比べてクエリコストを顕著に削減した。
• 攻撃は、データ依存的ノイズ（例：Diffixのスティッキー・ノイズ）が、プライベート属性の推定を防ぐのに不十分であることを示した。
• Diffix単体では、ノイズ活用攻撃への脆弱性のため、EU第29条作業部会が定義する匿名化の基準を満たしていない。
• 微分プライバシーに依存しない匿名化システムに、監査可能性や入力検証などの防御の多層的原則を組み合わせることで、セキュリティを強化可能であり、微分プライバシーの導入を要しない。