[論文レビュー] Fine-grained Poisoning Attack to Local Differential Privacy Protocols for Mean and Variance Estimation

Xiaoguang Li, Ninghui Li+3 more|arXiv (Cornell University)|May 24, 2022

Privacy-Preserving Technologies in Data被引用数 7

ひとこと要約

本稿は、局所的微分プライバシー（LDP）プロトコルにおける平均および分散推定値の細粒度な操作を可能にする出力汚染攻撃（OPA）を提案する。OPAは、ノイズを加える領域に悪意のある出力を生成することで、局所ランダム化ステップを回避し、最終的な推定値を直接操作する。OPAは、より少ない偽のユーザー数でベースラインの入力汚染攻撃を上回り、高いプライバシー予算（低いノイズ）では攻撃効果が低下する、直感に反するセキュリティ-プライバシーの一貫性を明らかにする。

ABSTRACT

Although local differential privacy (LDP) protects individual users' data from inference by an untrusted data curator, recent studies show that an attacker can launch a data poisoning attack from the user side to inject carefully-crafted bogus data into the LDP protocols in order to maximally skew the final estimate by the data curator. In this work, we further advance this knowledge by proposing a new fine-grained attack, which allows the attacker to fine-tune and simultaneously manipulate mean and variance estimations that are popular analytical tasks for many real-world applications. To accomplish this goal, the attack leverages the characteristics of LDP to inject fake data into the output domain of the local LDP instance. We call our attack the output poisoning attack (OPA). We observe a security-privacy consistency where a small privacy loss enhances the security of LDP, which contradicts the known security-privacy trade-off from prior work. We further study the consistency and reveal a more holistic view of the threat landscape of data poisoning attacks on LDP. We comprehensively evaluate our attack against a baseline attack that intuitively provides false input to LDP. The experimental results show that OPA outperforms the baseline on three real-world datasets. We also propose a novel defense method that can recover the result accuracy from polluted data collection and offer insight into the secure LDP design.

研究の動機と目的

• 既存のデータ汚染攻撃がLDPプロトコルにおける平均および分散推定値の両方を正確に制御できないというギャップを解消すること。
• 攻撃者がLDPベースの平均および分散推定において、統計的推定値を特定のターゲット値に微調整できるかどうか、およびその方法を調査すること。
• 出力ドメインにおける汚染と入力ドメインにおける汚染の両者を比較し、LDP推定値を操作する際の効率性および効果性を評価すること。
• プライバシー予算がLDPにおけるデータ汚染攻撃の成功に与える影響を検討し、直感に反するセキュリティ-プライバシーの一貫性を明らかにすること。
• 汚染されたLDPデータ収集から正確な統計的推定値を回復するための新規防御メカニズムを提案すること。

提案手法

• 攻撃はLDPの摂動処理における出力ドメインに偽のデータを生成し、局所ランダム化ステップを回避することで、最終的な推定値を直接操作する。
• 平均と分散の二重操作を、制御されたユーザー間の偽データ生成を調整するための連立一次方程式問題として定式化する。
• 攻撃者は公開されている歴史的統計データと予測可能なデータトレンドを活用して、真の値を推定し、操作のターゲット値を設定する。
• OPAは、既知の摂動関数を用いて、2つの最先端のLDPプロトコル（確率的丸め（SR）および区分的メカニズム（PM））に適用する。
• 攻撃が成功するための理論的条件を導出し、ターゲット推定に必要な偽ユーザー数の下限を計算する。
• 集約出力における統計的不整合を分析することで、汚染データを検出し、修正する新しい防御を提案する。

実験結果

リサーチクエスチョン

• RQ1 攻撃者が単一の攻撃ベクトルを用いて、LDPプロトコルにおける平均および分散推定値を正確に制御できるか？
• RQ2 出力ドメインにおける汚染と入力ドメインにおける汚染の両者を、平均および分散推定において、効率性および効果性の観点から比較するとどうなるか？
• RQ3 プライバシー予算（ε）は、LDPにおけるデータ汚染攻撃の成功に影響を与えるか？また、セキュリティ-プライバシーの一貫性が存在するか？
• RQ4 OPAにおいて、所望の平均および分散ターゲットを達成するために必要な最小の偽ユーザー数はどの程度か？
• RQ5 汚染されたLDPデータ収集から正確な統計的推定値を回復できる防御メカニズムを設計できるか？

主な発見

• OPAは、3つの実世界のデータセットにおいて、ベースラインの入力汚染攻撃（IPA）を上回り、より少ない偽ユーザー数でターゲットの平均および分散に到達した。
• 攻撃はさまざまなプライバシー予算で有効であるが、プライバシー損失が大きい（εが小さい）ほど攻撃効果が低下する傾向にある。
• 直感に反するセキュリティ-プライバシーの一貫性が観察された：プライバシーが高くなるほど、汚染攻撃に対する耐性が向上し、従来のプライバシー-ユーティリティのトレードオフとは逆転する。
• 理論的分析により、OPAはターゲット推定に必要な偽ユーザー数に下限が存在することが示され、同じターゲットに対してIPAよりも少ない数で十分であることが判明した。
• 提案された防御メカニズムは、汚染されたデータから正確な統計的推定値を回復でき、実用的な耐性を示した。
• 攻撃は、頻度推定、分布推定、グラフ統計を含む、他のLDPプロトコルに対しても拡張可能であり、広範な脅威の影響を示している。