[論文レビュー] Data Poisoning Attacks to Local Differential Privacy Protocols

Xiaoyu Cao, Jinyuan Jia+1 more|arXiv (Cornell University)|Nov 5, 2019

Privacy-Preserving Technologies in Data参考文献 69被引用数 6

ひとこと要約

本稿は、局所的微分プライバシー（LDP）プロトコルに対するデータ汚染攻撃を紹介する。攻撃者は偽のユーザーを注入し、仕組まれたノイズを含むデータを送信することで、頻度推定およびハブハッカー識別結果を操作する。提案される最大利得攻撃（MGA）は攻撃を最適化問題として定式化し、わずか5％の偽ユーザーでも標的アイテムの頻度を著しく上昇させることに成功し、LDP設計における重要なセキュリティとプライバシーのトレードオフを露呈する。

ABSTRACT

Local Differential Privacy (LDP) protocols enable an untrusted data collector to perform privacy-preserving data analytics. In particular, each user locally perturbs its data to preserve privacy before sending it to the data collector, who aggregates the perturbed data to obtain statistics of interest. In the past several years, researchers from multiple communities -- such as security, database, and theoretical computer science -- have proposed many LDP protocols. These studies mainly focused on improving the utility of the LDP protocols. However, the security of LDP protocols is largely unexplored. In this work, we aim to bridge this gap. We focus on LDP protocols for frequency estimation and heavy hitter identification, which are two basic data analytics tasks. Specifically, we show that an attacker can inject fake users into an LDP protocol and the fake users send carefully crafted data to the data collector such that the LDP protocol estimates high frequencies for arbitrary attacker-chosen items or identifies them as heavy hitters. We call our attacks data poisoning attacks. We theoretically and/or empirically show the effectiveness of our attacks. We also explore three countermeasures against our attacks. Our experimental results show that they can effectively defend against our attacks in some scenarios but have limited effectiveness in others, highlighting the needs for new defenses against our attacks.

研究の動機と目的

• 局所的微分プライバシー（LDP）プロトコルのプライバシー保証を超えたセキュリティ上の脆弱性を調査すること。
• 攻撃者が偽ユーザーを注入することでLDPアナリティクスの結果を操作可能かどうかを特定すること。
• このような汚染攻撃の影響を最大化する体系的で最適化に基づく手法を開発すること。
• 現存する対策が実世界のシナリオにおいてこれらの攻撃に対して効果的かどうかを評価すること。
• 攻撃者によるデータ汚染が行われる状況下での、LDPプロトコルにおける根本的なセキュリティとプライバシーのトレードオフを明らかにすること。

提案手法

• 標的アイテムの頻度上昇を最大化する最適化問題としてデータ汚染を定式化し、最大利得攻撃（MGA）を導出する。
• 理論的解析を用いてMGA下での標的アイテムの頻度上昇を導出し、すべての攻撃戦略の中で最高の利得を達成することを示す。
• 偽ユーザーからランダムに作成されたデータを用いた2つのベースライン攻撃を採用し、MGAのパフォーマンスと比較する。
• MGAおよびベースラインを、頻度推定用のkRR、OUE、OLHおよびハブハッカー識別用のPEMという4つの最先端LDPプロトコルに適用する。
• 統計的パターン検出、Proof-of-Work、SMPCベースの緩和策といった防御策を適用し、その実現可能性と限界を分析する。
• 条件付き確率に基づく検出手法を提案し、ノイズを加えたベクトルのパターンを分析することで偽ユーザーを同定する。

実験結果

リサーチクエスチョン

• RQ1 攻撃者が、仕組まれたデータをもつ偽ユーザーを注入することで、LDPベースの頻度推定およびハブハッカー識別を操作可能か？
• RQ2 最適化に基づく最大利得攻撃（MGA）は、ランダムベースライン攻撃と比較してどの程度効果的か？
• RQ3 LDPプロトコルにおけるプライバシー保証とデータ汚染攻撃に対するセキュリティの根本的関係は何か？
• RQ4 正規化、Proof-of-Work、統計的検出といった既存の対策は、MGAに対する防御としてどの程度有効か？
• RQ5 攻撃はSMPCベースまたはシャッフルベースのLDPプロトコルへ一般化可能か？その限界は何か？

主な発見

• 理論的に証明されたように、最大利得攻撃（MGA）は、すべての可能な攻撃戦略の中で標的アイテムの頻度上昇が最大となる。
• わずか5％の偽ユーザーで、テストした3つのデータセットすべてにおいて、10個のランダムに選択された標的アイテムが上位15位以内のハブハッカーとして識別された。
• 根本的なセキュリティとプライバシーのトレードオフが存在する：より強いプライバシー保証（例：より高いepsilons）を持つプロトコルは、データ汚染攻撃に対してより脆弱である。
• OUEとOLHはMGAに対して類似したセキュリティレベルを示すが、アイテム数が閾値を超えた場合、kRRはOUEおよびOLHよりも脆弱である。
• 正規化や統計的検出といった既存の対策は、攻撃者が防御に適応する場合、特に有効性が限定的であることが判明し、より強力で新しい防御策の必要性が示唆される。