[論文レビュー] Knock Knock, Who's There? Membership Inference on Aggregate Location Data

Apostolos Pyrgelis, Carmela Troncoso+1 more|arXiv (Cornell University)|Aug 21, 2017

Privacy-Preserving Technologies in Data被引用数 6

ひとこと要約

本稿は、集約された位置時間系列データに対するメンバーインファレンス攻撃の最初の形式的分析を提示する。攻撃を機械学習分類問題としてモデル化し、標的ユーザーのデータが集約に含まれているかどうかを特定することを目的とする。本稿では、このような攻撃が非常に効果的であることが判明した—最大で0.83のAUCを達成し、特に小規模なグループや事前知識がある場合に顕著である。また、微分プライバシーは漏洩を軽減するが、敵が防御メカニズムを模倣してノイズ付きデータで学習する場合、限定的な保護しか提供しないことが示された。

ABSTRACT

Aggregate location data is often used to support smart services and applications, e.g., generating live traffic maps or predicting visits to businesses. In this paper, we present the first study on the feasibility of membership inference attacks on aggregate location time-series. We introduce a game-based definition of the adversarial task, and cast it as a classification problem where machine learning can be used to distinguish whether or not a target user is part of the aggregates. We empirically evaluate the power of these attacks on both raw and differentially private aggregates using two mobility datasets. We find that membership inference is a serious privacy threat, and show how its effectiveness depends on the adversary's prior knowledge, the characteristics of the underlying location data, as well as the number of users and the timeframe on which aggregation is performed. Although differentially private mechanisms can indeed reduce the extent of the attacks, they also yield a significant loss in utility. Moreover, a strategic adversary mimicking the behavior of the defense mechanism can greatly limit the protection they provide. Overall, our work presents a novel methodology geared to evaluate membership inference on aggregate location data in real-world settings and can be used by providers to assess the quality of privacy protection before data release or by regulators to detect violations.

研究の動機と目的

• 集約された位置時間系列データに対するメンバーインファレンス攻撃が実現可能かどうかを調査すること。
• 機械学習を用いて、ゲーム理論的区別タスクとしてメンバーインファレンスを形式化すること。
• 微分プライバシー機構がこのような攻撃を緩和する効果を評価するとともに、ユーティリティ損失を測定すること。
• 事前知識、データのスパarsity、グループサイズ、集約時間枠が攻撃成功率に与える影響を評価すること。
• データ公開前にプライバシー保護の質を評価できる手法を提供すること。

提案手法

• 攻撃者がある集約に標的ユーザーが含まれているかどうかを区別できるように、メンバーインファレンスタスクを二値分類問題としてモデル化する。
• 標的ユーザーを含む・含まない両方の元の集約または微分プライバシーを適用した集約を用いて、事前知識を含む機械学習分類器（例：MLP）を訓練する。
• 実際の移動データセット（TFLおよびSFC）を用い、グループサイズ、時間枠、データの規則性などのさまざまな条件下での攻撃性能を評価する。
• 集約データに微分プライバシー機構（LPA、GSM、FPA、EFPAG）を適用し、それらがメンバーインファレンスの正確性に与える影響を測定する。
• 受動的敵（raw dataで学習）と戦略的敵（防御を模倣するためにノイズ付きデータで学習）の両方を評価する。
• さまざまなepsilons値に対して、プライバシー利得（PG）とユーティリティ損失をAUCおよび感度指標で測定する。

実験結果

リサーチクエスチョン

• RQ1 攻撃者がユーザーの位置について部分的な知識を持つ場合、集約された位置時間系列データに対するメンバーインファレンス攻撃はどの程度効果的か？
• RQ2 微分プライバシーは、集約移動データに対するメンバーインファレンス攻撃の成功率をどの程度低減するか？
• RQ3 集約グループ内のユーザー数と集約時間枠は、攻撃の正確性にどのように影響するか？
• RQ4 防御メカニズムを模倣する戦略的敵が、微分プライバシーのプライバシー保証を著しく低下させ得るか？
• RQ5 スパarsityや規則性といったデータ特性は、メンバーインファレンス攻撃の強度にどのように影響するか？

主な発見

• 攻撃者が小さなグループ（100人/グループ）の一部のユーザーの位置について事前知識を持つ場合、メンバーインファレンス攻撃は最大で0.83のAUCを達成し、標的ユーザーの含まれているかどうかの同定が非常に高い精度で可能であることが示された。
• ユーザー集団の事前知識がある場合、9,500人/グループの集団であっても攻撃は最大で1.0のAUCに達し、有利な条件下ではほぼ完璧な分類が可能であることが示された。
• 微分プライバシー機構はメンバーインファレンスの成功率を低下させるが、特にLPAやGSMのような機構ではユーティリティ損失が顕著である。
• ノイズ付き集約データで学習する戦略的敵は、DP機構のプライバシー利得を最大で83％まで低下させ、その有効性を損なう可能性がある。
• スパースなデータセット（例：TFL）では、epsilonの増加に伴いプライバシー利得が密度の高いデータセット（例：SFC）よりも速やかに減少する。これは感度が高いためである。
• DP機構の性能は顕著に異なる：FPAやEFPAGはより良いユーティリティを提供するが、プライバシーは弱い。一方、LPAやGSMは強いプライバシーを主張するが、ユーティリティが著しく低い。