[論文レビュー] Pool Inference Attacks on Local Differential Privacy: Quantifying the Privacy Guarantees of Apple's Count Mean Sketch in Practice

Andrea Gadotti, Florimond Houssiau+2 more|arXiv (Cornell University)|Apr 14, 2023

Privacy, Security, and Data Protection被引用数 5

ひとこと要約

この論文は、局所的微分プライバシー下でAppleのCount Mean Sketch（CMS）メカニズムを標的とした、新しいプライバシー攻撃であるプールインファレンス攻撃を紹介する。ベイズモデルを用いて、著者らは、高いプライバシー予算（ε = 4–8）であっても、繰り返しの誤差を含むデータ収集を悪用することで、悪意ある攻撃者がニュースサイトからのユーザーの好みの絵文字の肌色や政治的傾向を正確に推定できることを示している。理論的な保証があるにもかかわらず、実用的なプライバシーリスクが顕著に明らかになった。

ABSTRACT

Behavioral data generated by users' devices, ranging from emoji use to pages visited, are collected at scale to improve apps and services. These data, however, contain fine-grained records and can reveal sensitive information about individual users. Local differential privacy has been used by companies as a solution to collect data from users while preserving privacy. We here first introduce pool inference attacks, where an adversary has access to a user's obfuscated data, defines pools of objects, and exploits the user's polarized behavior in multiple data collections to infer the user's preferred pool. Second, we instantiate this attack against Count Mean Sketch, a local differential privacy mechanism proposed by Apple and deployed in iOS and Mac OS devices, using a Bayesian model. Using Apple's parameters for the privacy loss $\varepsilon$, we then consider two specific attacks: one in the emojis setting -- where an adversary aims at inferring a user's preferred skin tone for emojis -- and one against visited websites -- where an adversary wants to learn the political orientation of a user from the news websites they visit. In both cases, we show the attack to be much more effective than a random guess when the adversary collects enough data. We find that users with high polarization and relevant interest are significantly more vulnerable, and we show that our attack is well-calibrated, allowing the adversary to target such vulnerable users. We finally validate our results for the emojis setting using user data from Twitter. Taken together, our results show that pool inference attacks are a concern for data protected by local differential privacy mechanisms with a large $\varepsilon$, emphasizing the need for additional technical safeguards and the need for more research on how to apply local differential privacy for multiple collections.

研究の動機と目的

• AppleのCount Mean Sketch（CMS）メカニズムの実用的プライバシーリスクを調査すること。このメカニズムは、局所的微分プライバシー下で、絵文字の場合はε = 4、ウェブサイトの場合はε = 8という高いプライバシー予算を用いている。
• ユーザーが時間経過とともに複数回の誤差を含むデータポイントを送信する状況において、既存の理論的プライバシー保証が実世界の攻撃に対して完全に保護しないことを示すこと。
• 攻撃者があるユーザーの好むグループ（例：肌色や政治的ニュースサイト）を、繰り返しの誤差を含むデータから推定できる、新しい攻撃「プールインファレンス」を考案・評価すること。
• ベイズ推論を用いて攻撃の有効性を定量的に評価し、絵文字設定において実際のTwitterユーザーのデータを用いて結果を検証すること。
• シャッフルやミックスネットワークのようなより強力な技術的対策を提言し、複数回のデータ収集が行われる局所的微分プライバシーシステムにおけるプライバシー・バイ・デザインの改善の必要性を強調すること。

提案手法

• 攻撃者が関心のある不重複のプール（例：肌色や政治的ニュースドメイン）を定義し、単一のユーザーから繰り返しの誤差を含むデータを収集することで、そのユーザーが好むプールを推定する新しい攻撃モデル「プールインファレンス攻撃」を提唱する。
• 複数回のデータ収集中に、誤差を含むオブジェクト選択の頻度に基づいて、ユーザーが特定のプールを好んでいる確率（後方確率）を計算するベイズ推論フレームワークを採用する。
• Count Mean Sketchメカニズムの統計的性質に基づいて導出された、真の好みAが与えられたもとでの特定の誤差を含むオブジェクトzが観測される確率を表す尤度関数Pr[A | z]を用いる。
• Appleの実際のε値（4および8）を用いて攻撃をキャリブレーションし、ユーザーの偏りや関心の関連性の異なる水準で性能を評価する。
• 実際のTwitterユーザーのデータを用いて絵文字設定における攻撃の有効性を検証し、予測された好みと実際のユーザー行動を比較する。
• プライバシー予算εとユーザー行動の偏りが攻撃成功に与える影響を分析し、高い偏りが脆弱性を顕著に高めることを示す。

実験結果

リサーチクエスチョン

• RQ1 AppleのCMS実装下で、繰り返しの誤差を含むデータ送信が行われる状況において、攻撃者がユーザーの好むオブジェクトのプール（例：肌色や政治的ニュースサイト）を正確に推定できるか？
• RQ2 ユーザーの偏りや関心が定義されたプールと関連している場合、プールインファレンス攻撃の成功率はどのように変化するか？
• RQ3 Appleの高いプライバシー予算（ε = 4およびε = 8）は、実世界の状況下で局所的微分プライバシーの実用的保証をどれほど損なうか？
• RQ4 ベイズモデルは攻撃者の推論に対する自信をどれほど正確に予測できるか？また、実際の状況において攻撃は適切にキャリブレーションされているか？
• RQ5 これらの発見は、同じユーザーから時間経過とともにデータを収集するシステムに、局所的微分プライバシーメカニズムを導入する上で、どのような意味を持つのか？

主な発見

• プールインファレンス攻撃は、絵文字設定およびニュースサイト設定の両方で、ランダムな推測を著しく上回る性能を示し、十分なデータが集まった場合には、単なる運任せの確率を大幅に上回る成功確率を達成した。
• 特定のプールから一貫してオブジェクトを選択する、高い偏りを持つユーザーは、特にその好むプールが明確で明確に区別できる場合、攻撃に対して著しく脆弱であることが判明した。
• 攻撃は高い信頼性の推論を達成しており、ベイズモデルは適切にキャリブレーションされており、攻撃者がユーザーの行動パターンに基づいて脆弱なユーザーを的確に特定・標的化できることが可能だった。
• 絵文字設定において、実際のTwitterユーザーのデータを用いて、攻撃は好む肌色を効果的に推定できた。これにより、モデルの実用的関連性と有効性が裏付けられた。
• 結果として、局所的微分プライバシーが適用されていても、高いε値と繰り返しのデータ収集が、利用可能なプライバシー漏洩を引き起こすことが示された。これは、意図されたプライバシー保証を損なうものであった。
• 単一の送信におけるプライバシー損失（ε）に依存するだけでは不十分であり、シャッフルやミックスネットワークのようなより強力なプライバシーモデルの導入が、これらの実用的攻撃表面を閉じるために不可欠であると指摘した。